JP7317494B2 - ELECTRONIC DEVICE AND METHOD OF CONTROLLING ELECTRONIC DEVICE - Google Patents
ELECTRONIC DEVICE AND METHOD OF CONTROLLING ELECTRONIC DEVICE Download PDFInfo
- Publication number
- JP7317494B2 JP7317494B2 JP2018221310A JP2018221310A JP7317494B2 JP 7317494 B2 JP7317494 B2 JP 7317494B2 JP 2018221310 A JP2018221310 A JP 2018221310A JP 2018221310 A JP2018221310 A JP 2018221310A JP 7317494 B2 JP7317494 B2 JP 7317494B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- user
- force
- display screen
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本開示は、ユーザインタフェースに含まれるオブジェクトに関するフィードバックを提供する電子機器に関する。 TECHNICAL FIELD This disclosure relates to electronic devices that provide feedback regarding objects included in a user interface.
近年、スマートフォン及びカーナビゲーション等、タッチパネルを搭載する電子機器が普及している。 In recent years, electronic devices equipped with touch panels, such as smart phones and car navigation systems, have become widespread.
ユーザが、タッチパネルを介して表示されるユーザインタフェースに含まれるアイコン等のオブジェクトを操作した場合、電子機器は、当該オブジェクトに対応する機能を作動させる。 When a user operates an object such as an icon included in a user interface displayed via a touch panel, the electronic device activates a function corresponding to the object.
タッチパネルの表面は一様に硬いため、ユーザがタッチパネルのどの部分に触れても同じ触覚を持つ。そのため、オブジェクトに対応する機能を作動せることなく、オブジェクトの存在を知覚させるフィードバックをユーザに提供することが望ましい。また、オブジェクトに対応する機能が作動した場合、機能を作動させるための操作を受け付けたことを知覚させるフィードバックをユーザに提供することが望ましい。 Since the surface of the touch panel is uniformly hard, the user has the same tactile sensation regardless of which part of the touch panel is touched. Therefore, it is desirable to provide feedback to the user that perceives the presence of the object without activating the function corresponding to the object. Also, when a function corresponding to an object is activated, it is desirable to provide the user with feedback that allows the user to perceive that an operation has been received to activate the function.
上記課題を解決するための技術として特許文献1に記載の技術が知られている。特許文献1には、(1)GUIオブジェクト310のホットスポットまたは境界と交差し、圧力値が作動しきい値未満である場合、装置は、ユーザ2がGUIオブジェクト310を「感じとる」ことができるように、力覚フィードバック302を提供することが開示されている。(2)その後、ユーザ2はGUIオブジェクト310をより強く押して、作動しきい値321を超えるように圧力値を増加させる。それによりGUIオブジェクト310は作動され、GUIオブジェクト310が選択され作動したことをユーザ2に通知するために、力覚フィードバック304および視覚フィードバック305が提供されることが記載されている。 A technique described in Patent Document 1 is known as a technique for solving the above problem. US Pat. , is disclosed to provide haptic feedback 302 . (2) User 2 then presses GUI object 310 harder to increase the pressure value above actuation threshold 321 . It is described that GUI object 310 is thereby actuated and that haptic feedback 304 and visual feedback 305 are provided to notify user 2 that GUI object 310 has been selected and actuated.
特許文献1に記載の技術には以下のような課題が存在する。 The technique described in Patent Document 1 has the following problems.
(課題1)特許文献1に記載の装置では、オブジェクトの存在を知覚させるフィードバック及びオブジェクトが選択されたことを知覚させるためのフィードバックが、機械的な振動として提供される。そのため、オブジェクトの存在を通知する振動が提供された後、ユーザがオブジェクトを押下する場合、当該振動がノイズとして混入することによって、オブジェクトの押下を検知できない可能性がある。 (Problem 1) In the device described in Patent Document 1, the feedback for perceiving the existence of an object and the feedback for perceiving that an object has been selected are provided as mechanical vibrations. Therefore, when the user presses the object after the vibration that notifies the presence of the object is provided, there is a possibility that the pressing of the object cannot be detected due to the vibration mixed as noise.
前述のノイズの混入を排除するために、機械的な振動を小さくすることが考えられる。しかし、機械的な振動を小さくした場合、ユーザがボタンの存在を明確に知覚できない可能性がある。 In order to eliminate the mixing of noise described above, it is conceivable to reduce mechanical vibration. However, if the mechanical vibration is reduced, the user may not be able to clearly perceive the presence of the button.
(課題2)特許文献1に記載の装置は、タッチパネルにおけるユーザの指の位置を検知し、指がオブジェクトに配置されたことが確認できた場合にフィードバックを提供している。指の移動速度が速い場合、オブジェクトの表示位置及びフィードバックにより知覚されるオブジェクトの位置にズレが生じる。これは、位置を検知するための処理等の実行による遅延が発生するためである。 (Problem 2) The device described in Patent Document 1 detects the position of the user's finger on the touch panel, and provides feedback when it is confirmed that the finger is placed on the object. When the finger moves fast, the display position of the object and the position of the object perceived by the feedback are deviated. This is because a delay occurs due to the execution of processing for position detection.
図9は、従来のタッチパネルにおけるオブジェクト901の表示位置とフィードバックにより知覚されるオブジェクト901の位置との間のズレを示す図である。ここでは、指の移動速度は、画面の端で極小値をとり、オブジェクト901の中央で極大値をとる場合を想定している。極大値は700mm/秒より大きいものとする。また、オブジェクト901のサイズは40.0mmとする。
FIG. 9 is a diagram showing the deviation between the display position of an
図9に示すグラフでは、視覚フィードバックにより知覚されるオブジェクト901の表示位置を「視覚」のラベルで示し、触覚フィードバックにより知覚されるオブジェクト901の位置を「触覚」のラベルで示す。「視覚」のラベルに示すパルス波形は表示画面の位置におけるオブジェクト901の輝度を表す。「触覚」のラベルに示すパルス波形は表示画面の位置における刺激(振動)の強さを表す。
In the graph shown in FIG. 9 , the display position of the
オブジェクト901を通過する際の指の移動速度を極大値の700mm/秒とした場合、図9に示すように、視覚フィードバックにより知覚されるオブジェクト901の位置と、触覚フィードバックにより知覚されるオブジェクト901の位置との間には、38.5mmのズレが発生した。
When the moving speed of the finger when passing the
このズレの発生によって、触覚フィードバックの提供を受けたユーザが押下等の操作を行っても、当該押下操作がオブジェクト901の領域の外で行われることがある。そうなると、ユーザによる押下操作がオブジェクト901に対する操作として認識されないという課題がある。
Due to this deviation, even if the user who receives the haptic feedback performs an operation such as pressing, the pressing operation may be performed outside the area of the
本開示は、上記課題を解決するための電子機器及びその制御方法を提供する。 The present disclosure provides an electronic device and a control method thereof for solving the above problems.
本願において開示される発明の代表的な一例を示せば以下の通りである。少なくとも一つのオブジェクトを含むユーザインタフェースを表示する表示画面を備える電子機器であって、前記ユーザインタフェースを表示する表示機構と、前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、前記表示画面に対するユーザの押下操作による力を計測する計測機構と、前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、前記力の基準値となるベースラインを更新する更新機構と、を備え、前記更新機構は、前記計測機構によって計測された前記力の値をバッファに格納し、前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄し、前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新する。 A representative example of the invention disclosed in the present application is as follows. An electronic device comprising a display screen for displaying a user interface including at least one object, the display mechanism for displaying the user interface, a coordinate detection mechanism for detecting the coordinates of a user's contact point on the display screen, and any a first feedback presentation mechanism that presents a local tactile sensation for causing the user to perceive the object of the first feedback presentation mechanism, a measurement mechanism that measures the force caused by the user's pressing operation on the display screen, and an actuation opportunity that is detected based on the force a second feedback presentation mechanism that generates mechanical vibration; and an update mechanism that updates a baseline that is a reference value of the force, wherein the update mechanism updates the force value measured by the measurement mechanism. A force value stored in a buffer and stored in the buffer when the user's contact with the display mechanism is detected by the coordinate detection mechanism, or when the user's pressing operation is detected by the measurement mechanism. is discarded, and if the accumulated number of force values stored in the buffer is greater than a certain number, then the force value is used to update the baseline.
本開示によれば、(課題1)及び(課題2)を解決できるフィードバックの提供手段を有する電子機器を実現できる。 According to the present disclosure, it is possible to realize an electronic device having a feedback providing means capable of solving (Problem 1) and (Problem 2).
以下、本開示の実施形態を、図面を用いて説明する。以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。 Embodiments of the present disclosure will be described below with reference to the drawings. In the configurations of the invention described below, the same or similar configurations or functions are denoted by the same reference numerals, and overlapping descriptions are omitted.
(第1の実施形態)
図1は、第1の実施形態の電子機器10の構成の一例を示す図である。
(First embodiment)
FIG. 1 is a diagram showing an example of the configuration of an electronic device 10 according to the first embodiment.
電子機器10は、触覚提示装置100、制御装置110、及び記憶装置120を備える。触覚提示装置100及び制御装置110は接続線を介して接続され、また、制御装置110及び記憶装置120は接続線を介して互いに接続される。 The electronic device 10 includes a tactile presentation device 100 , a control device 110 and a storage device 120 . The tactile sense presentation device 100 and the control device 110 are connected via a connection line, and the control device 110 and the storage device 120 are connected to each other via a connection line.
触覚提示装置100は、ユーザに対して、少なくとも一つのオブジェクトを含むUI(ユーザインタフェース)を提示し、UIを介した操作を受け付ける。また、触覚提示装置100は、UIに含まれるオブジェクトを知覚させるためのフィードバック及びオブジェクトに対する操作を受け付けたことを知覚させるためのフィードバックを提供する。 The tactile presentation device 100 presents a user with a UI (user interface) including at least one object, and receives an operation via the UI. The tactile sense presentation device 100 also provides feedback for perceiving an object included in the UI and feedback for perceiving that an operation on the object has been received.
触覚提示装置100は、静電触覚パネル/タッチパネル101、力センサ102、液晶ディスプレイ(LCD)103、キャリア104、ベース105、ラテラルアクチュエータ106、及び板バネ107から構成される。なお、触覚提示装置100の各構成は、任意の筐体内に格納される。静電触覚パネル/タッチパネル101、力センサ102、及び液晶ディスプレイ103は、UIを表示する表示画面を実現する構成であり、キャリア104、ラテラルアクチュエータ106、及び板バネ107は機械振動を実現する構成である。
A tactile sense presentation device 100 is composed of an electrostatic tactile panel/
ベース105は、触覚提示装置100の土台となる部材である。ベース105には、ラテラルアクチュエータ106及び板バネ107が設置される。また、ベース105上には、ラテラルアクチュエータ106及び板バネ107による動作によって振動するキャリア104が設けられる。キャリア104は、ベース105に対して特定の方向に振動する。ラテラルアクチュエータ106及び板バネ107によって実現されるキャリア104の振動を機械振動とも記載する。 The base 105 is a base member of the tactile presentation device 100 . A lateral actuator 106 and a leaf spring 107 are installed on the base 105 . Further, on the base 105, a carrier 104 that vibrates due to the action of a lateral actuator 106 and leaf springs 107 is provided. Carrier 104 vibrates in a particular direction with respect to base 105 . Vibration of the carrier 104 realized by the lateral actuator 106 and leaf spring 107 is also referred to as mechanical vibration.
ラテラルアクチュエータ106は、表示画面に平行な方向(例えば、x軸方向又はy軸方向)への動きを発生させる装置である。板バネ107は、ラテラルアクチュエータ106の動きに合わせて振動を発生させるための機構として用いられる。 The lateral actuator 106 is a device that generates movement in a direction parallel to the display screen (eg, x-axis direction or y-axis direction). The leaf spring 107 is used as a mechanism for generating vibrations in accordance with the movement of the lateral actuator 106 .
キャリア104は、表示画面を構成する部材を積層する土台となる部材である。キャリア104上には、液晶ディスプレイ103、力センサ102、及び静電触覚パネル/タッチパネル101が設けられる。
The carrier 104 is a member serving as a base on which the members forming the display screen are laminated. A liquid crystal display 103 , a force sensor 102 , and an electrostatic tactile panel/
第1の実施形態では、表示装置の表示画面の水平方向に略平行な方向に振動するように構成される。 In the first embodiment, it is configured to vibrate in a direction substantially parallel to the horizontal direction of the display screen of the display device.
液晶ディスプレイ103、力センサ102、及び静電触覚パネル/タッチパネル101は、ベース105と略平行となるように設置される。
The liquid crystal display 103 , the force sensor 102 , and the electrostatic tactile panel/
静電触覚パネル/タッチパネル101は、静電触覚パネル200(図2参照)及びタッチパネルから構成される。静電触覚パネル200は、ユーザがUIをドラッグした場合に、静電気力を用いてオブジェクトのテクスチャ感を与える。タッチパネルは、表示画面上のユーザの指の位置を検知する。静電触覚パネル200の構造及び動作については図2A及び図2Bを用いて説明する。
The electrostatic tactile panel/
力センサ102は、ユーザの指が表示画面に対して与える力を計測する。第1の実施形態では、表示画面の垂直方向に略平行な向きの力を計測する。すなわち、力センサ102は、押下方向の力を計測する。液晶ディスプレイ103は、UIに対応する画像を表示する。なお、力センサ102は、力の基準値(ゼロ点)となるベースラインと、計測した値(計測値)との差(相対値)を出力する。以下の説明では、「力の計測」は相対値を算出することを意味し、また、「計測した力の値」は前述の相対値を意味する。 The force sensor 102 measures the force applied by the user's finger to the display screen. In the first embodiment, the force in the direction substantially parallel to the vertical direction of the display screen is measured. That is, the force sensor 102 measures force in the pressing direction. The liquid crystal display 103 displays images corresponding to the UI. The force sensor 102 outputs the difference (relative value) between the baseline, which is the force reference value (zero point), and the measured value (measurement value). In the following description, "force measurement" means calculating a relative value, and "measured force value" means the aforementioned relative value.
制御装置110は、プログラムを実行する演算装置である。演算装置は、プロセッサ、GPU(Graphics Processing Unit)、及びFPGA(Field Programmable Gate Array)等である。記憶装置120は、制御装置110が使用するプログラム及びデータを格納する。記憶装置120は、例えば、メモリである。記憶装置120は、プログラムが使用するワークエリアを含む。なお、プログラムは、予め電子機器10にインストールしてもよいし、プログラムを記録した記憶媒体からインストールしてもよい。 The control device 110 is an arithmetic device that executes programs. Arithmetic devices are processors, GPUs (Graphics Processing Units), FPGAs (Field Programmable Gate Arrays), and the like. Storage device 120 stores programs and data used by control device 110 . Storage device 120 is, for example, a memory. Storage device 120 contains a work area used by the program. Note that the program may be installed in the electronic device 10 in advance, or may be installed from a storage medium in which the program is recorded.
制御装置110は、触覚提示装置100を制御するための機能部(モジュール)として動作する。具体的には、制御装置110は、表示制御部111、レイアウト解析部112、静電式触覚制御部113、押下検知部114、機械振動式触覚制御部115として動作する。 The control device 110 operates as a functional unit (module) for controlling the tactile presentation device 100 . Specifically, the control device 110 operates as a display control unit 111 , a layout analysis unit 112 , an electrostatic tactile control unit 113 , a press detection unit 114 and a mechanical vibration tactile control unit 115 .
表示制御部111は、表示画面へのUIの表示を制御する。具体的には、表示制御部111は、UIの設定情報を記憶装置120から取得し、当該情報に基づいて、少なくとも一つのオブジェクトを含むUIが表示されるように液晶ディスプレイ103を制御する。UIの設定情報には、オブジェクトのレイアウト及びオブジェクトの属性等が含まれる。また、オブジェクトの属性は、フィードバックを提供するか否かを示す情報が含まれる。 The display control unit 111 controls display of the UI on the display screen. Specifically, the display control unit 111 acquires UI setting information from the storage device 120, and controls the liquid crystal display 103 based on the information so that a UI including at least one object is displayed. The UI setting information includes object layouts, object attributes, and the like. Also, the attributes of the object include information indicating whether or not to provide feedback.
レイアウト解析部112は、UIの設定情報を解析し、UIに含まれるオブジェクトのレイアウト及びオブジェクトの属性を特定する。レイアウト解析部112は、オブジェクトのレイアウト及びオブジェクトの属性を静電式触覚制御部113に出力する。 The layout analysis unit 112 analyzes the setting information of the UI and identifies the layout of objects included in the UI and the attributes of the objects. The layout analysis unit 112 outputs the layout of the objects and the attributes of the objects to the electrostatic haptic control unit 113 .
静電式触覚制御部113は、表示画面上の特定のオブジェクトの位置にテクスチャ感を与えるように静電触覚パネル/タッチパネル101を制御する。
The electrostatic tactile sense control unit 113 controls the electrostatic tactile sense panel/
押下検知部114は、静電触覚パネル/タッチパネル101からの出力に基づいて表示画面へのユーザの指の接触を検知し、また、表示画面上のユーザの指の位置(接触位置)を特定する。また、押下検知部114は、力センサ102が計測した力、表示画面上のユーザの指の位置、及びUIの設定情報に基づいて、オブジェクトの押下イベントを検知する。オブジェクトの押下イベントとは、ユーザがオブジェクトを押下する動作を示す。押下検知部114は、オブジェクトの押下イベントを検知した場合、オブジェクトの操作を受け付けたことをユーザに知覚させるために、機械振動の発生要求を機械振動式触覚制御部115に出力する。
The press detection unit 114 detects contact of the user's finger on the display screen based on the output from the electrostatic tactile panel/
機械振動式触覚制御部115は、機械振動を発生させるためにラテラルアクチュエータ106を制御する。 The mechanical vibration type haptic controller 115 controls the lateral actuator 106 to generate mechanical vibrations.
なお、制御装置110が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。 As for each functional unit of the control device 110, a plurality of functional units may be combined into one functional unit, or one functional unit may be divided into a plurality of functional units for each function.
第1の実施形態の電子機器10は、上記構成によって実現される、UIを表示する表示機構、オブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構、表示画面におけるユーザの接触箇所の座標を検知する座標検知機構、表示画面に対するユーザの押下操作による力を計測する計測機構、及びオブジェクトに対する操作を受け付けたことを知覚させるために、機械振動を発生させる第二フィードバック提示機構を有することを特徴とする。 The electronic device 10 of the first embodiment includes a display mechanism that displays a UI, a first feedback presentation mechanism that presents a local tactile sensation for causing the user to perceive an object, and a user on the display screen, which are realized by the above configuration. A coordinate detection mechanism that detects the coordinates of the contact point, a measurement mechanism that measures the force of the user's pressing operation on the display screen, and a second feedback presentation that generates mechanical vibrations to make the user perceive that the operation on the object has been received. It is characterized by having a mechanism.
表示機構を実現する構成は、例えば、液晶ディスプレイ(LCD)103及び表示制御部111である。第一フィードバック提示機構を実現する構成は、例えば、静電触覚パネル/タッチパネル101及び静電式触覚制御部113である。座標検知機構を実現する構成は、例えば、静電触覚パネル/タッチパネル101及び押下検知部114である。計測機構を実現する構成は、例えば、力センサ102である。第二フィードバック提示機構を実現する構成は、例えば、キャリア104、ベース105、ラテラルアクチュエータ106、板バネ107、及び機械振動式触覚制御部115である。
A configuration that realizes the display mechanism is, for example, a liquid crystal display (LCD) 103 and a display control unit 111 . A configuration that realizes the first feedback presentation mechanism is, for example, the electrostatic tactile panel/
図2A及び図2Bは、第1の実施形態の静電触覚パネル200の構造及び動作を説明する図である。第1の実施形態では、フィードバックを提供するデバイスとして特許文献2に記載の静電触覚パネル200を用いる。 2A and 2B are diagrams for explaining the structure and operation of the electrostatic touch panel 200 of the first embodiment. In a first embodiment, the electrostatic tactile panel 200 described in Patent Document 2 is used as a device that provides feedback.
静電触覚パネル200は、複数の電極210及び複数の電極211がパターニングされた基板と、複数の電極210及び複数の電極211のそれぞれに電圧を供給する回路(図示省略)から構成される。基板は絶縁層201及び電極層202の二つの層を構成する。 The electrostatic touch panel 200 is composed of a substrate on which a plurality of electrodes 210 and 211 are patterned, and a circuit (not shown) that supplies voltage to each of the plurality of electrodes 210 and 211 . The substrate comprises two layers, an insulating layer 201 and an electrode layer 202 .
電極210及び電極211は、互いに直交するパタンとなるように配置される。また、電極210及び電極211の交差部分は、絶縁膜を介して交差する。また、電極210及び電極211の上層には絶縁膜が形成される。これによって、ユーザが表示画面を触った場合に、指と各電極210、211との間が電気的に絶縁される。 Electrodes 210 and electrodes 211 are arranged in a pattern orthogonal to each other. Further, the intersecting portions of the electrodes 210 and 211 intersect with an insulating film interposed therebetween. An insulating film is formed on the electrodes 210 and 211 . This electrically insulates between the finger and the electrodes 210 and 211 when the user touches the display screen.
ここで、液晶ディスプレイ103に、図2Aに示すような位置に表示されるオブジェクト220にテクスチャ感を与える場合の静電触覚パネル200の動作について説明する。
Here, the operation of the electrostatic tactile panel 200 when giving a texture feeling to the
静電式触覚制御部113は、オブジェクト220が重なる電極210、211を特定し、特定された電極210、211に電圧を印加するための制御信号を静電触覚パネル200に出力する。静電触覚パネル200の回路は、制御信号に基づいて、特定された電極210、211に必要な周波数の電圧信号を出力する。これによって、オブジェクト220の部分、すなわち、表示画面の局所的な範囲にテクスチャ感を与えることができる。このように、テクスチャ感を局所的に提示することができるため、複数の指で同時にUIをドラッグした場合、オブジェクト220をドラッグする指にはテクスチャ感が提示され、オブジェクト220以外をドラッグする指にはテクスチャ感が提示されない。また、複数のユーザが同時にUIをドラッグした場合、オブジェクト220をドラッグする指のユーザにはテクスチャ感が提示され、オブジェクト220以外をドラッグする指のユーザにはテクスチャ感が提示されない。
The electrostatic tactile sense controller 113 identifies the electrodes 210 and 211 on which the
なお、電圧を印加しない電極210、211は、電極同士の容量結合によって電圧が誘起されるのを防ぐために接地している。なお、接地する代わりに直流電圧又は特定の周波数以上の電圧を印加してもよい。 The electrodes 210 and 211 to which no voltage is applied are grounded to prevent voltage from being induced by capacitive coupling between the electrodes. A DC voltage or a voltage of a specific frequency or higher may be applied instead of grounding.
オブジェクト220が重なる電極210、211に電圧を印加することによって与えられるテクスチャ感について図2Bを用いて説明する。
The texture given by applying voltages to the electrodes 210 and 211 on which the
ユーザが、表示画面の最上層に位置する静電触覚パネル/タッチパネル101を操作する場合、表示画面の水平方向に摩擦力Frが発生し、また、表示画面の垂直方向に力Fnが発生する。
When a user operates the electrostatic tactile panel/
ユーザがオブジェクト220を指でなぞる操作(ドラッグ操作)を行った場合、オブジェクト220上の摩擦力は他の部分とは異なるため、ユーザにオブジェクト220のテクスチャ感を与えることができる。ドラッグ操作の場合、力Fnは十分小さい。
When the user performs an operation of tracing the
静電触覚パネル/タッチパネル101上のオブジェクト220を指で押下する操作を行った場合、摩擦力Frは小さくなり、力Fnが大きくなる。
When the finger presses the
なお、複数の電極210及び複数の電極211は、指等の物体の接触を検知するために用いてもよい。この場合、複数の電極210及び複数の電極211を時分割又は空間分割することによって、静電触覚を提示するための電極と、物体の接触を検知するための電極とを分けることができる。これによって、静電触覚パネル及びタッチパネルが一体となった静電触覚パネル/タッチパネル101を実現できる。押下検知部114は、タッチパネルに対する操作によって電極210、211間に生じた静電容量に基づいて、指の接触を検知し、また、接触位置を特定できる。
Note that the plurality of electrodes 210 and the plurality of electrodes 211 may be used to detect contact with an object such as a finger. In this case, by time-division or space-division of the plurality of electrodes 210 and the plurality of electrodes 211, the electrodes for presenting the electrostatic tactile sensation and the electrodes for detecting the contact of the object can be separated. Thereby, the electrostatic tactile panel/
なお、静電触覚パネルに光学式タッチセンサを取り付けることによって、静電触覚パネル及びタッチパネルが一体となった静電触覚パネル/タッチパネル101を実現できる。
By attaching an optical touch sensor to the electrostatic tactile panel, the electrostatic tactile panel/
次に、電子機器10が実行する処理について説明する。図3は、第1の実施形態の電子機器10が実行する処理を説明するフローチャートである。 Next, processing executed by the electronic device 10 will be described. FIG. 3 is a flow chart illustrating processing executed by the electronic device 10 of the first embodiment.
表示制御部111は、操作状態等に基づいて表示画面に表示するUIを選択し、選択されたUIの設定情報に基づいて液晶ディスプレイ103を制御することによってUIを更新する(ステップS101)。 The display control unit 111 selects a UI to be displayed on the display screen based on an operation state or the like, and updates the UI by controlling the liquid crystal display 103 based on setting information of the selected UI (step S101).
次に、レイアウト解析部112は、選択されたUIの設定情報を記憶装置120から取得し(ステップS102)、UIにおけるオブジェクトのレイアウトを解析する(ステップS103)。 Next, the layout analysis unit 112 acquires the setting information of the selected UI from the storage device 120 (step S102), and analyzes the layout of the objects in the UI (step S103).
次に、レイアウト解析部112は、解析の結果に基づいて、静電触覚パネル200の電極210、211に電圧を印加するための静電電極パタンデータを選択する(ステップS104)。静電電極パタンデータには、電圧の大きさ及び周波数が規定されている。レイアウト解析部112は、解析の結果とともに静電電極パタンデータを静電式触覚制御部113に出力する。 Next, the layout analysis unit 112 selects electrostatic electrode pattern data for applying voltages to the electrodes 210 and 211 of the electrostatic touch panel 200 based on the analysis results (step S104). The electrostatic electrode pattern data defines the voltage magnitude and frequency. The layout analysis unit 112 outputs the electrostatic electrode pattern data to the electrostatic touch control unit 113 together with the analysis result.
静電式触覚制御部113は、解析の結果及び静電電極パタンデータに基づいて、静電触覚パネル200の所定の電極210、211に電圧を印加することによって、静電触覚を提示する(ステップS105)。 Based on the analysis result and the electrostatic electrode pattern data, the electrostatic tactile controller 113 presents the electrostatic tactile sensation by applying a voltage to the predetermined electrodes 210 and 211 of the electrostatic tactile panel 200 (step S105).
その後、押下検知部114は、検知処理を開始する(ステップS106)。検知処理では、静電触覚パネル/タッチパネル101へのユーザの指の接触を検知するタッチ検知処理と、静電触覚パネル/タッチパネル101に対する押下操作を検知する押下検知処理とが実行される。
Thereafter, the press detection unit 114 starts detection processing (step S106). In the detection process, a touch detection process for detecting contact of the user's finger on the electrostatic tactile panel/
表示制御部111は、ユーザの操作等によって、UIの切替えタイミングが発生したことを検知した場合、ステップS101に戻る。 The display control unit 111 returns to step S<b>101 when it detects that the UI switching timing has occurred due to the user's operation or the like.
図4Aは、第1の実施形態の押下検知部114が実行するタッチ検知処理を説明するフローチャートである。 FIG. 4A is a flowchart illustrating touch detection processing executed by the press detection unit 114 according to the first embodiment.
押下検知部114は、静電触覚パネル/タッチパネル101へのユーザの指の接触を示す信号を検知する(ステップS201)。ユーザの指の接触を示す信号を検知するタイミングは任意に設定される。 The press detection unit 114 detects a signal indicating contact of the user's finger on the electrostatic tactile panel/touch panel 101 (step S201). The timing of detecting the signal indicating the touch of the user's finger is arbitrarily set.
例えば、押下検知部114は、静電触覚パネル/タッチパネル101の静電容量の変化を信号として検知する。なお、力センサ102の値の変化を信号として検知してもよい。
For example, the press detection unit 114 detects a change in capacitance of the electrostatic tactile panel/
次に、押下検知部114は、静電触覚パネル/タッチパネル101上のユーザの指の接触位置を示す座標を算出する(ステップS202)。例えば、静電容量の変化が検知された電極210、211の位置に基づいて座標が算出される。 Next, the press detection unit 114 calculates coordinates indicating the contact position of the user's finger on the electrostatic tactile panel/touch panel 101 (step S202). For example, the coordinates are calculated based on the positions of the electrodes 210 and 211 where changes in capacitance are detected.
次に、押下検知部114は、記憶装置120に算出された座標を格納する(ステップS203)。その後、押下検知部114は、ステップS201に戻る。 Next, the press detection unit 114 stores the calculated coordinates in the storage device 120 (step S203). Thereafter, the press detection unit 114 returns to step S201.
なお、前回算出された座標は、今回算出された座標を上書きすることによって削除してもよいし、履歴データとして管理してもよい。 The previously calculated coordinates may be deleted by overwriting the coordinates calculated this time, or may be managed as history data.
図4Bは、第1の実施形態の押下検知部114が実行する押下検知処理を説明するフローチャートである。 FIG. 4B is a flowchart for explaining press detection processing executed by the press detection unit 114 according to the first embodiment.
押下検知部114は、力センサ102が計測した力の値を取得する(ステップS211)。力センサ102が力を計測するタイミングは任意に設定できる。タッチ検知処理及び押下検知処理の実行周期は、同一でもよいし、異なっていてもよい。 The press detection unit 114 acquires the force value measured by the force sensor 102 (step S211). The timing at which the force sensor 102 measures force can be set arbitrarily. The execution cycles of the touch detection process and the press detection process may be the same or different.
このとき、押下検知部114は、記憶装置120から接触位置(押下位置)の座標を取得する。 At this time, the press detection unit 114 acquires the coordinates of the contact position (press position) from the storage device 120 .
押下検知部114は、力の値及び閾値の比較結果及び接触位置の座標に基づいて、オブジェクトの押下イベントが発生したか否かを判定する(ステップS212)。例えば、押下検知部114は、力の値が閾値より大きく、かつ、接触位置の座標がオブジェクトの座標と一致するか否かを判定する。前述の条件を満たす場合、押下検知部114は、オブジェクトの押下イベントが発生したと判定する。力の値のみを用いた判定処理では、外部振動等に起因する押下イベントの誤検知によるフィードバックの提供が行われる可能性がある。本開示では、接触状態及び力の値を用いた判定処理を実行することによって、押下イベントの誤検知を抑止できる。 The pressing detection unit 114 determines whether or not an object pressing event has occurred based on the comparison result of the force value and the threshold value and the coordinates of the contact position (step S212). For example, the press detection unit 114 determines whether the force value is greater than a threshold and the coordinates of the contact position match the coordinates of the object. If the above condition is satisfied, the press detection unit 114 determines that an object press event has occurred. Determination processing using only force values may provide feedback due to misdetection of press events caused by external vibrations or the like. In the present disclosure, erroneous detection of a press event can be suppressed by executing determination processing using the contact state and the force value.
オブジェクトの押下イベントが発生していないと判定された場合、押下検知部114は、ステップS211に戻る。 If it is determined that an object pressing event has not occurred, the pressing detection unit 114 returns to step S211.
オブジェクトの押下イベントが発生したと判定された場合、押下検知部114は、機械振動式触覚制御部115に、機械振動によるフィードバックの提供を指示する(ステップS213)。その後、押下検知部114は、ステップS211に戻る。 When it is determined that an object pressing event has occurred, the pressing detection unit 114 instructs the mechanical vibration type tactile sense control unit 115 to provide feedback by mechanical vibration (step S213). Thereafter, the press detection unit 114 returns to step S211.
機械振動式触覚制御部115は、押下検知部114から指示を受け付けた場合、ラテラルアクチュエータ106を制御することによって機械振動を発生させる。これによって、キャリア104が特定の方向に振動する。 When the mechanical vibration type tactile sense control unit 115 receives an instruction from the press detection unit 114 , the mechanical vibration is generated by controlling the lateral actuator 106 . This causes carrier 104 to vibrate in a particular direction.
なお、タッチ検知処理及び押下検知処理は別々のスレッドとして並列で実行される。通常、静電触覚パネル/タッチパネル101では、押下操作より、ドラッグ操作が頻繁に行われる。そのため、タッチ検知処理及び押下検知処理を同一のスレッドとして実行した場合、押下検知処理の終了まで、タッチ検知処理を実行できない。したがって、操作効率が低下する。しかし、二つの検知処理を別々のスレッドとして実行することによって、操作効率を向上させることができる。
Note that the touch detection process and the press detection process are executed in parallel as separate threads. Generally, on the electrostatic tactile panel/
図5は、第1の実施形態の電子機器10の表示画面の操作に伴う触覚の提示の一例を示す図である。 FIG. 5 is a diagram showing an example of presentation of tactile sensation accompanying operation of the display screen of the electronic device 10 of the first embodiment.
図5に示すように、表示画面の上層に位置する静電触覚パネル/タッチパネル101に二つのオブジェクト220が表示されている。ユーザの指は、状態(A)から状態(D)に示すように遷移するものとする。
As shown in FIG. 5, two
状態(A)は、ユーザが表示画面に表示されたオブジェクト220を探すために、静電触覚パネル/タッチパネル101を指でなぞるドラッグ操作を開始した状態を示す。この時点では、静電式触覚制御部113によって、各オブジェクト220に静電触覚が提示されている。したがって、ユーザの指がオブジェクト220上を通過するとき、ユーザは、オブジェクト220の存在をテクスチャ感として知覚できる。
State (A) indicates a state in which the user starts a drag operation by tracing the electrostatic tactile panel/
状態(B)は、ドラッグ操作によって特定のオブジェクト220まで指を移動させた状態を示す。状態(C)は、ユーザがオブジェクト220を押下した状態を示す。なお、状態(C)では、指は停止された状態であるため、静電触覚による刺激は小さくなる。この場合、押下検知部114がオブジェクトの押下イベントの発生を検知する。
State (B) shows a state in which the finger is moved to a
状態(D)は、押下イベントの発生の検知に伴って、オブジェクト220の操作を受け付けたことを知覚させるための機械振動が発生した状態を示す。
A state (D) indicates a state in which a mechanical vibration is generated to make the user perceive that the operation of the
本開示のUIでは、ユーザは、表示画面から指を離すことなく、オブジェクトの探索から押下までの一連の動作を行うことができる。すなわち、シームレスなUIを提供することができる。 With the UI of the present disclosure, the user can perform a series of operations from searching for an object to pressing it without removing the finger from the display screen. That is, a seamless UI can be provided.
次に、第1の実施形態で説明した電子機器10による効果について説明する。 Next, effects of the electronic device 10 described in the first embodiment will be described.
(効果1)ユーザは、静電触覚によるフィードバックの提供を受けることによってオブジェクト220の位置を知覚できる。したがって、ユーザは、視覚に頼ることなくオブジェクト220の位置を把握することができる。
(Effect 1) The user can perceive the position of the
(効果2)オブジェクト220の位置を知覚させるための静電触覚は、ユーザの操作前から、オブジェクト220の位置に局在した状態で提示される。図6は、第1の実施形態の電子機器10におけるオブジェクト220の表示位置とフィードバックにより知覚されるオブジェクト220の位置との間のズレを示す図である。図6に示すように、第1の実施形態の電子機器10では、視覚フィードバックにより知覚されるオブジェクト220の位置と、触覚フィードバックにより知覚されるオブジェクト220の位置との間にズレは発生しない。したがって、(課題2)を解決することができる。
(Effect 2) The electrostatic tactile sensation for perceiving the position of the
(効果3)電子機器10は、オブジェクト220を知覚させるために静電触覚を提示し、オブジェクト220の操作を知覚させるために機械振動による触覚を提示する。二つの触覚はそれぞれ異なる機構によって提供されるため、ユーザは触覚の違いを容易に区別することができる。
(Effect 3) The electronic device 10 presents an electrostatic tactile sensation for perceiving the
(効果4)機械振動は、表示画面の水平方向に略平行な方向に振動するため、垂直方向の力の計測に与える影響を低減できる。これによって、オブジェクト220を知覚させた状態で、当該オブジェクト220の押下イベントを適切に検知することができる。したがって、(課題1)を解決することができる。
(Effect 4) Since the mechanical vibration vibrates in a direction substantially parallel to the horizontal direction of the display screen, it is possible to reduce the influence on the measurement of force in the vertical direction. As a result, the pressing event of the
(効果5)機械振動を発生させるためには、大きな電力が必要となる。そのため、従来の装置では、フィードバックの提供に要する電力が大きいという問題がある。一方、本開示の電子機器10では、静電触覚によるフィードバックを併用しているため、従来の装置より消費電力を低減することができる。 (Effect 5) Large electric power is required to generate mechanical vibration. Therefore, conventional devices have the problem that the power required to provide feedback is large. On the other hand, since the electronic device 10 of the present disclosure also uses electrostatic tactile feedback, power consumption can be reduced as compared with conventional devices.
(効果6)従来の装置では、オブジェクト220の位置を知覚させるフィードバック及びオブジェクト220の操作を受け付けたことを知覚させるフィードバックの両方に機械振動を用いていたが、本開示の電子機器10は、オブジェクト220の操作を受け付けたことを知覚させるフィードバックにのみ機械振動を用いている。そのため、機械振動を発生させるための構成の寿命が伸びるという効果がある。
(Effect 6) In the conventional device, mechanical vibration was used for both the feedback for perceiving the position of the
(第2の実施形態)
第2の実施形態では、触覚提示装置100の構成が異なる。第1の実施形態では、ディスプレイ型の力センサ102を用いていたが、第2の実施形態では、小型の力センサを用いる。
(Second embodiment)
In the second embodiment, the configuration of the tactile presentation device 100 is different. While the display-type force sensor 102 was used in the first embodiment, a small force sensor is used in the second embodiment.
図7A及び図7Bは、第2の実施形態の触覚提示装置100の構成の一例を示す図である。 7A and 7B are diagrams showing an example of the configuration of the tactile presentation device 100 of the second embodiment.
図7A及び図7Bでは、静電触覚パネル/タッチパネル101に液晶ディスプレイ103が積層されているものとする。
In FIGS. 7A and 7B, it is assumed that the liquid crystal display 103 is laminated on the electrostatic tactile panel/
ベース105には、キャリア104が表示画面の水平方向と略平行な方向に振動するように板バネ107が設置される。また、ベース105には、キャリア104が表示画面の水平方向と略平行な方向に力を加えるラテラルアクチュエータ106が設置される。 A plate spring 107 is installed on the base 105 so that the carrier 104 vibrates in a direction substantially parallel to the horizontal direction of the display screen. In addition, a lateral actuator 106 is installed on the base 105 so that the carrier 104 applies a force in a direction substantially parallel to the horizontal direction of the display screen.
キャリア104には、表示画面の水平方向に略平行となるようにはり(梁)108が片持ばりの構成で設置され、はり108の所定の位置にひずみゲージが設置され、これらを構成要素とする小型の力センサ102が設置される。はり108は、ユーザによる表示画面の押下に伴って、表示画面の垂直方向にたわむ。 Beams (beams) 108 are installed on the carrier 104 in a cantilever configuration so as to be substantially parallel to the horizontal direction of the display screen, strain gauges are installed at predetermined positions of the beams 108, and these are used as components. A small force sensor 102 is installed. The beam 108 bends in the vertical direction of the display screen as the user presses the display screen.
静電触覚パネル/タッチパネル101を設置した枠には、キャリア104に固定するための柱109が設けられている。
The frame on which the electrostatic tactile panel/
図7Bに示すように、キャリア104は、ラテラルアクチュエータ106及び板バネ107によって、表示画面の水平方向の略平行な方向に振動する。 As shown in FIG. 7B, the carrier 104 vibrates in a direction substantially parallel to the horizontal direction of the display screen by the lateral actuator 106 and the leaf spring 107 .
なお、第2の実施形態の電子機器10の制御方法は第1の実施形態の電子機器10の制御方法と同一であるため説明を省略する。 Note that the control method of the electronic device 10 of the second embodiment is the same as the control method of the electronic device 10 of the first embodiment, so the description is omitted.
ディスプレイ型の力センサ102の代わりに、小型の力センサ102を用いて触覚提示装置100を構成することによって、表示画面に表示されるUIの表示品質を向上させることができる。 By configuring the tactile sense presentation device 100 using the small force sensor 102 instead of the display-type force sensor 102, the display quality of the UI displayed on the display screen can be improved.
図7A及び図7Bに示すような構造の場合、ラテラルアクチュエータ106が発生する振動が効率的に静電触覚パネル/タッチパネル101に伝わるため、静電触覚パネル/タッチパネル101に大きな加速度を発生させることができる。
7A and 7B, the vibration generated by the lateral actuator 106 is efficiently transmitted to the electrostatic tactile panel/
構造の特徴は次のとおりである。ラテラルアクチュエータ106はベース105に強く結合され、ラテラルアクチュエータ106にはリンケージが強く結合され、リンケージとキャリア104は強く結合されている。ここで、強く結合されるとは、結合部において振動方向に遊びなく結合されていることを意味する。本実施形態では各要素はお互いがネジで強く固定されている。さらに、キャリア104と台座130は強く結合され、台座130とはり108は強く結合され、はり108と柱109は強く結合され、柱と静電触覚パネル/タッチパネル101は強く結合される。
The structural features are as follows. The lateral actuator 106 is strongly coupled to the base 105, the linkage is strongly coupled to the lateral actuator 106, and the linkage and the carrier 104 are strongly coupled. Here, "strongly coupled" means that the coupling portion is coupled without play in the vibration direction. In this embodiment, each element is strongly fixed to each other with screws. Further, the carrier 104 and the pedestal 130 are strongly coupled, the pedestal 130 and the beam 108 are strongly coupled, the beam 108 and the pillar 109 are strongly coupled, and the pillar and the capacitive touch panel/
以上のように、ラテラルアクチュエータ106から静電触覚パネル/タッチパネル101までの間は振動方向に遊びなく結合されているため、ラテラルアクチュエータ106が発生する振動は、減衰することなく効率的に、静電触覚パネル/タッチパネル101に伝えることが可能となる。
As described above, since the portion from the lateral actuator 106 to the electrostatic touch panel/
(第3の実施形態)
第3の実施形態では、オブジェクトの位置を知覚させるためのフィードバックを提供する方式が第1の実施形態と異なる。具体的には、静電触覚パネル200を別の部材に変更する。
(Third embodiment)
The third embodiment differs from the first embodiment in the method of providing feedback for perceiving the position of an object. Specifically, the electrostatic touch panel 200 is changed to another member.
一つの候補としては、静電触覚パネル200の代わりに温度ディスプレイを採用することが考えられる。温度ディスプレイは、表面の温度を変化させることができるディスプレイである。オブジェクトの位置を知覚させるフィードバックを提供する構成としては、小型の温度ディスプレイを配列して、表示画面を構成することが考えられる。オブジェクトの表示位置に対応する温度ディスプレイの温度を他の温度ディスプレイの温度と異なるように制御することによって、オブジェクトの位置を知覚させるフィードバックを提供できる。 One possibility is to employ a temperature display instead of the electrostatic tactile panel 200 . A temperature display is a display that can change the temperature of a surface. An arrangement of small temperature displays to form a display screen is conceivable as a configuration for providing perceptual feedback on the position of an object. By controlling the temperature of the temperature display corresponding to the display position of the object to be different than the temperature of other temperature displays, it is possible to provide perceptual feedback of the position of the object.
一つの候補としては、静電触覚パネル200の代わりに、磁気流体及び電磁石のアレイを使用して流体を作動させることによって任意の位置にフィードバックを提供するディスプレイを採用する。オブジェクトの表示位置に対応する流体の局所粘度に影響を与える制御を行うことによって、オブジェクトの位置を知覚させるフィードバックを提供できる。 One candidate is to replace the capacitive tactile panel 200 with a display that uses magneto-rheological and electromagnet arrays to actuate fluids to provide feedback at any location. By providing controls that affect the local viscosity of the fluid corresponding to the display position of the object, feedback can be provided to perceive the position of the object.
一つの候補としては、静電触覚パネル200の代わりに、表面に凹凸を形成するディスプレイを採用する。当該ディスプレイは、微細孔を有する層に、透明のポリマ層を積載し、微細孔から流体を注入することによって表面に凹凸を形成する。オブジェクトの表示位置に対応する微細孔に流体を注入する制御を行うことによって、オブジェクトの位置を知覚させるフィードバックを提供できる。 As one candidate, instead of the electrostatic touch panel 200, a display having an uneven surface is adopted. In this display, a transparent polymer layer is placed on a layer having micropores, and irregularities are formed on the surface by injecting a fluid through the micropores. By controlling the injection of fluid into the pores corresponding to the displayed position of the object, it is possible to provide perceptual feedback of the position of the object.
なお、第3の実施形態の電子機器10の制御方法は、オブジェクト220を知覚させるフィードバックを提供するための制御処理以外は、第1の実施形態の電子機器10の制御方法と同様であるため説明を省略する。
Note that the control method of the electronic device 10 of the third embodiment is the same as the control method of the electronic device 10 of the first embodiment except for control processing for providing feedback for perceiving the
(第4の実施形態)
第4の実施形態では、制御装置110がベースラインを更新する。力センサ102へ加わる力の大きさは、気温及び気圧等の環境、並びに電子機器10の使用頻度等によって変化するため、ベースラインを周期的に更新する必要がある。
(Fourth embodiment)
In the fourth embodiment, controller 110 updates the baseline. Since the magnitude of the force applied to the force sensor 102 changes depending on the environment such as temperature and atmospheric pressure, the frequency of use of the electronic device 10, etc., it is necessary to periodically update the baseline.
ベースラインを更新するためには、制御装置110は、力センサ102に力が加わっていない状態において力センサ102が計測した値(計測値)を一定数蓄積する必要がある。したがって、制御装置110は、力センサ102に力が加わっていない状態を正しく判別し、計測値を蓄積する必要がある。力センサ102に力が加わった状態で計測された計測値を用いてベースラインを更新した場合、押下イベント等を正しく検知することができない。 In order to update the baseline, control device 110 needs to accumulate a certain number of values (measured values) measured by force sensor 102 when no force is applied to force sensor 102 . Therefore, the control device 110 needs to correctly determine the state in which no force is applied to the force sensor 102 and accumulate the measured values. If the baseline is updated using the measurement value measured while force is applied to the force sensor 102, it is not possible to correctly detect a pressing event or the like.
図8は、第4の実施形態の制御装置110が実行するベースライン更新処理を説明するフローチャートである。 FIG. 8 is a flowchart illustrating baseline update processing executed by the control device 110 of the fourth embodiment.
ここでは、押下検知部114によってベースライン更新処理が実行されるものとする。なお、制御装置110は、ベースライン更新処理を実行するベースライン更新部を備える構成でもよい。 Here, it is assumed that the press detection unit 114 executes baseline update processing. Note that the control device 110 may be configured to include a baseline update unit that executes baseline update processing.
なお、ベースライン更新処理の実行周期は、検知処理の実行周期と同一でもよいし、また、異なっていてもよい。 Note that the execution cycle of the baseline update process may be the same as or different from the execution cycle of the detection process.
押下検知部114は、力センサ102の計測値を取得し、バッファに格納する(ステップS301)。なお、バッファは記憶装置120に含まれるものとする。 The press detection unit 114 acquires the measurement value of the force sensor 102 and stores it in the buffer (step S301). It is assumed that the buffer is included in the storage device 120 .
押下検知部114は、計測された力の値に基づいて、静電触覚パネル/タッチパネル101が押下されているか否かを判定する(ステップS302)。例えば、押下検知部114は、力の値が閾値より大きいか否かを判定する。閾値はステップS212で使用した閾値と同一でもよいし、また、異なっていてもよい。
The press detection unit 114 determines whether or not the electrostatic tactile panel/
静電触覚パネル/タッチパネル101が押下されていると判定された場合、押下検知部114はバッファをクリアする(ステップS304)。その後、押下検知部114はステップS301に戻る。
When it is determined that the electrostatic tactile panel/
静電触覚パネル/タッチパネル101が押下されていないと判定された場合、押下検知部114は、静電触覚パネル/タッチパネル101にユーザの指が接触しているか否かを判定する(ステップS303)。例えば、押下検知部114は、信号が検知されているか否かを判定する。また、押下検知部114は、タッチ検知処理を実行し、実行結果に基づいて判定を行ってもよい。
When it is determined that the electrostatic tactile panel/
静電触覚パネル/タッチパネル101にユーザの指が接触していると判定された場合、押下検知部114はバッファをクリアする(ステップS304)。その後、押下検知部114はステップS301に戻る。
When it is determined that the user's finger is in contact with the electrostatic tactile panel/
静電触覚パネル/タッチパネル101にユーザの指が接触していないと判定された場合、押下検知部114は、蓄積されている計測値の数が閾値より大きいか否かを判定する(ステップS305)。すなわち、ベースラインを更新するために必要な数の計測値が蓄積されたか否かが判定される。
When it is determined that the user's finger is not in contact with the electrostatic tactile panel/
蓄積されている計測値の数が閾値以下であると判定された場合、押下検知部114はステップS301に戻る。 If it is determined that the number of accumulated measurement values is equal to or less than the threshold, the press detection unit 114 returns to step S301.
蓄積されている計測値の数が閾値より大きいと判定された場合、押下検知部114は、バッファに蓄積された計測値を用いてベースラインを算出し、算出されたベースラインを設定する(ステップS306)。その後、押下検知部114はステップS301に戻る。例えば、押下検知部114は計測値の平均値をベースラインとして算出する。 If it is determined that the number of accumulated measurement values is greater than the threshold, the press detection unit 114 calculates a baseline using the measurement values accumulated in the buffer, and sets the calculated baseline (step S306). Thereafter, the press detection unit 114 returns to step S301. For example, the press detection unit 114 calculates the average value of the measured values as the baseline.
以上の処理によってベースラインの更新タイミングを適切に制御できる。これによって、押下イベント等を正しく検知することができる。 Through the above processing, the update timing of the baseline can be appropriately controlled. This makes it possible to correctly detect a press event or the like.
以上、本願の実施形態を説明したが、本開示が上記の実施形態に限定されるものではない。当業者であれば、上記の実施形態の各要素を、本開示の範囲において容易に変更、追加、変換することが可能である。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。 Although the embodiments of the present application have been described above, the present disclosure is not limited to the above embodiments. A person skilled in the art can easily change, add, or convert each element of the above-described embodiments within the scope of the present disclosure. A part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、ハードウェアで実現してもよい。 Further, each of the configurations, functions, processing units, processing means, etc. described above may be partially or wholly realized by hardware.
10 電子機器
100 触覚提示装置
101 静電触覚パネル/タッチパネル
102 力センサ
103 液晶ディスプレイ
104 キャリア
105 ベース
106 ラテラルアクチュエータ
107 板バネ
108 はり
109 柱
110 制御装置
111 表示制御部
112 レイアウト解析部
113 静電式触覚制御部
114 押下検知部
115 機械振動式触覚制御部
120 記憶装置
130 台座
200 静電触覚パネル
201 絶縁層
202 電極層
210、211 電極
220、901 オブジェクト
10 Electronic device 100
Claims (7)
前記ユーザインタフェースを表示する表示機構と、
前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、
任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、
前記表示画面に対するユーザの押下操作による力を計測する計測機構と、
前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、
前記力の基準値となるベースラインを更新する更新機構と、を備え、
前記更新機構は、
前記計測機構によって計測された前記力の値をバッファに格納し、
前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄し、
前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新することを特徴とする電子機器。 An electronic device comprising a display screen displaying a user interface including at least one object,
a display mechanism for displaying the user interface;
a coordinate detection mechanism for detecting the coordinates of the contact point of the user on the display screen;
a first feedback presentation mechanism that presents a localized haptic sensation to cause a user to perceive an arbitrary object;
a measuring mechanism for measuring a force caused by a user's pressing operation on the display screen;
a second feedback presentation mechanism that detects an actuation trigger based on the force and generates mechanical vibration;
and an update mechanism that updates the baseline that is the reference value of the force,
The update mechanism is
storing the force value measured by the measuring mechanism in a buffer;
When the coordinate detection mechanism detects the user's contact with the display mechanism, or when the measurement mechanism detects the user's pressing operation, discarding the force value stored in the buffer;
An electronic device, wherein the baseline is updated using the force value when the accumulated number of the force values stored in the buffer is larger than a predetermined number.
前記第二フィードバック提示機構は、
前記オブジェクトの位置における前記力が閾値より大きい場合、前記作動契機として検知し、
前記オブジェクトに対する操作を受け付けたことを知覚させるために、前記機械振動を発生させることを特徴とする電子機器。 The electronic device according to claim 1,
The second feedback presentation mechanism includes:
detecting as the actuation trigger when the force at the position of the object is greater than a threshold;
An electronic device that generates the mechanical vibration in order to perceive that an operation on the object has been received.
前記第一フィードバック提示機構は、
複数の電極がパターニングされた基板、及び前記電極に電圧を印加する回路から構成され、
前記表示画面における特定のオブジェクトの位置に対応する電極に電圧を印加することによって静電触覚を提示することを特徴とする電子機器。 The electronic device according to claim 2,
The first feedback presentation mechanism includes:
Consists of a substrate on which a plurality of electrodes are patterned, and a circuit that applies a voltage to the electrodes,
An electronic device that presents an electrostatic tactile sensation by applying a voltage to an electrode corresponding to the position of a specific object on the display screen.
前記第二フィードバック提示機構は、前記力の向きと垂直な方向と略平行な方向に振動する機械振動を発生させることを特徴とする電子機器。 The electronic device according to claim 2,
The electronic device, wherein the second feedback presentation mechanism generates a mechanical vibration that vibrates in a direction substantially parallel to a direction perpendicular to the direction of the force.
前記第二フィードバック提示機構及び前記表示機構は、前記機械振動の減衰を低減する接続機構により接続されることを特徴とする電子機器。 The electronic device according to claim 1,
The electronic device, wherein the second feedback presentation mechanism and the display mechanism are connected by a connection mechanism that reduces damping of the mechanical vibration.
前記座標検知機構及び前記第二フィードバック提示機構は、独立して動作することを特徴とする電子機器。 The electronic device according to claim 1,
The electronic device, wherein the coordinate detection mechanism and the second feedback presentation mechanism operate independently.
前記電子機器は、
前記ユーザインタフェースを表示する表示機構と、
前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、
任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、
前記表示画面に対するユーザの押下操作による力を計測する計測機構と、
前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、
前記力の基準値となるベースラインを更新する更新機構と、を有し、
前記電子機器の制御方法は、
前記第一フィードバック提示機構が、前記ユーザインタフェースの設定情報に基づいて、触覚を提示するオブジェクトを特定するステップと、
前記第一フィードバック提示機構が、前記表示画面における前記特定されたオブジェクトの位置に触覚を提示するステップと、
前記第二フィードバック提示機構が、前記特定されたオブジェクトの位置における前記力が閾値より大きい場合、前記作動契機として検知し、前記特定のオブジェクトに対する操作を受け付けたことを知覚させるために、前記機械振動を発生させるステップと、
前記更新機構が、前記計測機構によって計測された前記力の値をバッファに格納するステップと、
前記更新機構が、前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄するステップと、
前記更新機構が、前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新するステップと、
を含むことを特徴とする電子機器の制御方法。 A control method for an electronic device having a display screen displaying a user interface including at least one object,
The electronic device
a display mechanism for displaying the user interface;
a coordinate detection mechanism for detecting the coordinates of the contact point of the user on the display screen;
a first feedback presentation mechanism that presents a localized haptic sensation to cause a user to perceive an arbitrary object;
a measuring mechanism for measuring a force caused by a user's pressing operation on the display screen;
a second feedback presentation mechanism that detects an actuation trigger based on the force and generates mechanical vibration;
an update mechanism for updating the baseline that is the reference value of the force,
The method for controlling the electronic device includes:
the first feedback presentation mechanism identifying an object to present a haptic sensation based on the setting information of the user interface;
the first feedback presentation mechanism presenting a haptic sensation at the location of the identified object on the display screen;
When the force at the position of the specified object is greater than a threshold value, the second feedback presentation mechanism detects it as the actuation opportunity, and causes the mechanical vibration to make the user perceive that the operation on the specified object has been received. and
the updating mechanism storing the force values measured by the measuring mechanism in a buffer;
The force value stored in the buffer when the update mechanism detects a user's contact with the display mechanism by the coordinate detection mechanism or when the user's pressing operation is detected by the measurement mechanism. and discarding
the update mechanism updating the baseline with the force value if the cumulative number of force values stored in the buffer is greater than a certain number;
A control method for an electronic device, comprising:
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910288275.2A CN110413102A (en) | 2018-04-26 | 2019-04-11 | Electronic equipment and control method for electronic equipment |
US16/394,880 US10976823B2 (en) | 2018-04-26 | 2019-04-25 | Electronic device and control method with feedback to perceive presence and activation of an object |
US17/203,852 US11347315B2 (en) | 2018-04-26 | 2021-03-17 | Electronic device with force sensor and haptic feedback in direction perpendicular to a direction of press |
US17/203,836 US11372482B2 (en) | 2018-04-26 | 2021-03-17 | Electronic device with updating of the baseline of a force sensor used to detect user pressing a display screen |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085251 | 2018-04-26 | ||
JP2018085251 | 2018-04-26 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019194833A JP2019194833A (en) | 2019-11-07 |
JP2019194833A5 JP2019194833A5 (en) | 2022-01-06 |
JP7317494B2 true JP7317494B2 (en) | 2023-07-31 |
Family
ID=68469637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221310A Active JP7317494B2 (en) | 2018-04-26 | 2018-11-27 | ELECTRONIC DEVICE AND METHOD OF CONTROLLING ELECTRONIC DEVICE |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7317494B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11513621B2 (en) * | 2018-06-01 | 2022-11-29 | Lg Electronics Inc. | Display apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015097076A (en) | 2013-10-10 | 2015-05-21 | Nltテクノロジー株式会社 | Tactile sense presentation device, electronic apparatus, and tactile sense presentation method |
JP2017513165A (en) | 2014-03-21 | 2017-05-25 | イマージョン コーポレーションImmersion Corporation | System and method for force-based object manipulation and tactile sensation |
JP2018036818A (en) | 2016-08-31 | 2018-03-08 | 株式会社東海理化電機製作所 | Input device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6048188B2 (en) * | 2013-02-08 | 2016-12-21 | 株式会社デンソー | Touch panel device |
JP6625372B2 (en) * | 2015-08-27 | 2019-12-25 | 株式会社デンソーテン | Input device and in-vehicle device |
-
2018
- 2018-11-27 JP JP2018221310A patent/JP7317494B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015097076A (en) | 2013-10-10 | 2015-05-21 | Nltテクノロジー株式会社 | Tactile sense presentation device, electronic apparatus, and tactile sense presentation method |
JP2017513165A (en) | 2014-03-21 | 2017-05-25 | イマージョン コーポレーションImmersion Corporation | System and method for force-based object manipulation and tactile sensation |
JP2018036818A (en) | 2016-08-31 | 2018-03-08 | 株式会社東海理化電機製作所 | Input device |
Also Published As
Publication number | Publication date |
---|---|
JP2019194833A (en) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11347315B2 (en) | Electronic device with force sensor and haptic feedback in direction perpendicular to a direction of press | |
CN107209569B (en) | Gap sensor for haptic feedback assembly | |
KR102450301B1 (en) | Device and method for force and proximity sensing employing an intermediate shield electrode layer | |
US9720587B2 (en) | User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion | |
US7952566B2 (en) | Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement | |
JP5780368B1 (en) | Drive control apparatus, electronic device, and drive control method | |
US9342148B2 (en) | Electronic device for generating vibrations in response to touch operation | |
US20080122797A1 (en) | Apparatus, method, and medium for outputting tactile feedback on display device | |
US9721365B2 (en) | Low latency modification of display frames | |
EP3382516B1 (en) | Tactile sense presentation device and tactile sense presentation method | |
KR20160025162A (en) | Apparatus for driving of touch panel | |
CN107728831B (en) | Pressure touch method of touch input device | |
WO2015121958A1 (en) | Electronic device, input device, and drive control method for electronic device | |
JP2014002796A (en) | Electronic apparatus | |
JPWO2015121955A1 (en) | Electronic device, input device, and drive control method | |
JP2018049432A (en) | Display control device, display control system and display control method | |
JP7317494B2 (en) | ELECTRONIC DEVICE AND METHOD OF CONTROLLING ELECTRONIC DEVICE | |
JP6123850B2 (en) | Drive control apparatus, electronic device, and drive control method | |
JP6819783B2 (en) | Drive control device, electronic device, and drive control method | |
JP2013196465A (en) | User interface device for applying tactile response in object selection, tactile response application method and program | |
KR101019163B1 (en) | Mouse | |
WO2016092644A1 (en) | Electronic device and drive control method | |
JP6512299B2 (en) | Drive control device, electronic device, drive control program, and drive control method | |
WO2016174760A1 (en) | Drive control device, electronic device, drive control program, and drive control method | |
WO2012108184A1 (en) | Electronic device and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |