JP7403928B2

JP7403928B2 - Display devices, information processing systems, vibration methods

Info

Publication number: JP7403928B2
Application number: JP2020067002A
Authority: JP
Inventors: 一博北村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2020-04-02
Filing date: 2020-04-02
Publication date: 2023-12-25
Anticipated expiration: 2040-04-02
Also published as: JP2021163385A

Description

本発明は、ディスプレイ装置、情報処理システム、及び、振動方法に関する。 The present invention relates to a display device, an information processing system, and a vibration method.

ユーザ操作に対して触感による応答を行うハプテック技術が知られている。ハプテック技術は触覚を通じて情報を伝達する技術である。例えば、タッチパネルを有するディスプレイ装置では、タッチパネルへのタッチ操作を受け付けると、タッチ操作が行われた座標に応じた振動パターンでディスプレイを振動させる。ユーザは振動パターンを指先で感じ取り、自分がどのボタンをタッチしたのか等を、ディスプレイを見なくても把握できる。 Haptech technology is known that provides a tactile response to user operations. Haptech technology is a technology that transmits information through the sense of touch. For example, in a display device having a touch panel, when a touch operation is received on the touch panel, the display is vibrated in a vibration pattern according to the coordinates where the touch operation is performed. Users can feel the vibration patterns with their fingertips and know which buttons they have touched without looking at the display.

ハプテック技術に関しては、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までに遅延があるということが技術的課題になっている。図１を用いて説明する。 Regarding haptech technology, a technical issue is that there is a delay between the touch by the user and the vibration caused by the vibration pattern according to the touch coordinates. This will be explained using FIG.

図１は、本体装置がディスプレイ装置に表示したナビ画面の一例である。図２は、本体装置とディスプレイ装置の構成例を示す図である。ナビ画面には各種のボタンやアイコンなどが表示されている。例えば、領域２０１～２０４にはソフトキーが表示されている。領域２０１～２０３は肯定的なキー入力エリア（ユーザが望む操作を進めるキー）であるが、領域２０４は否定的なキー入力エリア（誤操作などのため操作を戻すキー）である。ハプテック技術が適用された場合、ユーザが領域２０１～２０３をタッチした場合はディスプレイ装置１０が振動パターンＡでディスプレイを振動させ、ユーザが領域２０４をタッチした場合は振動パターンＢで振動させることで、ユーザがタッチしたボタンが何かを触感でユーザに伝達できる。また、その他のエリアはマルチタッチに対応しており、１点目のタッチにはディスプレイ装置１０が何も応答しないが２点目のタッチにはジェスチャー操作（拡大・縮小など）の開始を意味する振動パターンＣでディスプレイを振動させることで、ジェスチャーが行われていることをユーザに伝達できる。この他、ソフトキーが配置されていない場所にユーザがタッチした場合、ディスプレイ装置１０は無効を意味する振動パターンＤでディスプレイを振動させることもできる。 FIG. 1 is an example of a navigation screen displayed by the main body device on a display device. FIG. 2 is a diagram showing an example of the configuration of the main body device and the display device. Various buttons and icons are displayed on the navigation screen. For example, soft keys are displayed in areas 201-204. Areas 201 to 203 are positive key input areas (keys for proceeding with an operation desired by the user), while area 204 is a negative key input area (keys for returning an operation due to an erroneous operation, etc.). When the haptech technology is applied, when the user touches areas 201 to 203, the display device 10 vibrates the display in vibration pattern A, and when the user touches area 204, it vibrates in vibration pattern B. It is possible to tell the user what button the user touched through tactile sensation. In addition, other areas support multi-touch, and the display device 10 does not respond to the first touch, but the second touch indicates the start of a gesture operation (zooming in, zooming out, etc.). By vibrating the display with vibration pattern C, it is possible to notify the user that a gesture is being performed. In addition, when the user touches a location where no soft keys are arranged, the display device 10 can also vibrate the display with a vibration pattern D that means invalidation.

本体装置５０は、複数の異なる振動パターンからユーザがタッチした座標に応じた振動パターンをディスプレイ装置１０に通知する。ディスプレイ装置１０はこの振動パターンでディスプレイを振動する。この一連の処理を瞬時に行う必要があるが、図２に示すように、現状のシステム構成では困難であった。 The main body device 50 notifies the display device 10 of a vibration pattern corresponding to the coordinates touched by the user from among a plurality of different vibration patterns. The display device 10 vibrates the display using this vibration pattern. It is necessary to perform this series of processing instantly, but as shown in FIG. 2, this is difficult with the current system configuration.

図２を参照して説明する。情報処理システム１００はケーブルなどを介して通信できるディスプレイ装置１０と本体装置５０を有している。ユーザがタッチした座標はディスプレイ装置１０から本体装置５０に送信され、タッチ座標に応じた振動パターンの決定は本体装置５０側で行われる。本体装置５０は決定した振動パターンをディスプレイ装置１０に送信し、ディスプレイ装置１０が振動パターンでディスプレイを振動させることができる。このように、ユーザのタッチから実際に振動するまで遅延があり、情報処理システム１００の処理が鈍い印象をユーザに与えてしまう場合があった。 This will be explained with reference to FIG. The information processing system 100 includes a display device 10 and a main body device 50 that can communicate via a cable or the like. The coordinates touched by the user are transmitted from the display device 10 to the main device 50, and a vibration pattern corresponding to the touched coordinates is determined on the main device 50 side. The main body device 50 transmits the determined vibration pattern to the display device 10, and the display device 10 can vibrate the display using the vibration pattern. In this way, there is a delay from the user's touch to the actual vibration, which may give the user the impression that the processing of the information processing system 100 is slow.

ハプテック技術に関し、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を抑制する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、タッチパネルへのタッチが発生すると、ディスプレイ装置がタッチ座標を本体装置に送信し、タッチ座標に応じた振動パターンを取得しておき、その後、同じ座標に対するユーザのプッシュ操作が発生すると、保存されている振動パターンで振動デバイスを振動させる情報処理システムが開示されている。 Regarding haptech technology, a technology has been devised to suppress the delay from a touch by a user to vibration caused by a vibration pattern according to touch coordinates (see, for example, Patent Document 1). Patent Document 1 describes that when a touch on a touch panel occurs, a display device transmits the touch coordinates to the main device, acquires a vibration pattern according to the touch coordinates, and then a user's push operation on the same coordinates occurs. Then, an information processing system is disclosed that vibrates a vibration device using a stored vibration pattern.

特開２０１９－４０２７４号公報JP 2019-40274 Publication

しかしながら、従来の技術は、ユーザがディスプレイを押下しなければディスプレイを振動させることができないという問題があった。すなわち、ユーザがディスプレイにタッチしただけでディスプレイ装置がディスプレイを振動させる場合は遅延が生じるおそれがある。 However, the conventional technology has a problem in that the display cannot be vibrated unless the user presses down on the display. That is, if the display device vibrates the display simply by the user touching the display, a delay may occur.

本発明は、上記課題に鑑み、ユーザによるディスプレイの押下（タッチ）からタッチ座標に応じた振動パターンによる振動までの遅延を抑制する情報処理システムを提供することを目的とする。 In view of the above-mentioned problems, an object of the present invention is to provide an information processing system that suppresses the delay from when a user presses (touches) a display to when a vibration is generated by a vibration pattern according to touch coordinates.

上記課題に鑑み、本発明は、ディスプレイに表示する画面を生成する本体装置と通信するディスプレイ装置であって、入力手段が前記ディスプレイに近接した時の近接座標を検出する座標検出部と、前記近接座標に対応する振動パターンを前記本体装置から受信する通信部と、前記入力手段がディスプレイに更に接近した場合、前記振動パターンで前記ディスプレイを振動させる振動制御部と、を有することを特徴とする。 In view of the above-mentioned problems, the present invention provides a display device that communicates with a main unit that generates a screen to be displayed on a display, which comprises: a coordinate detection section that detects proximity coordinates when an input means approaches the display; The present invention is characterized by comprising a communication unit that receives a vibration pattern corresponding to the coordinates from the main device, and a vibration control unit that vibrates the display with the vibration pattern when the input means approaches the display further.

ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を抑制する情報処理システムを提供することができる。 It is possible to provide an information processing system that suppresses a delay from a touch by a user to vibration caused by a vibration pattern according to touch coordinates.

本体装置がディスプレイ装置に表示したナビ画面の一例である。This is an example of a navigation screen displayed by the main body device on the display device. 本体装置とディスプレイ装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a main body device and a display device. ディスプレイにタッチするユーザの指先と情報処理システムが行う処理の概略を説明する図である。FIG. 2 is a diagram illustrating an outline of processing performed by a user's fingertip touching a display and an information processing system. 情報処理システムの車両への搭載例を示す図である。1 is a diagram illustrating an example of mounting an information processing system on a vehicle. 情報処理システムの構成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of an information processing system. ディスプレイユニットの断面図の一例である。It is an example of a sectional view of a display unit. ディスプレイユニット、ディスプレイ制御部、及び、本体装置が有する機能を説明する図である。FIG. 2 is a diagram illustrating functions of a display unit, a display control section, and a main body device. 振動応答コントローラの構成図の一例である。It is an example of a block diagram of a vibration response controller. タッチパネルコントローラと振動応答コントローラの機能をブロック状に分けて説明する機能ブロック図の一例である。FIG. 2 is an example of a functional block diagram illustrating functions of a touch panel controller and a vibration response controller divided into blocks. ディスプレイ装置がタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理の比較例を説明する図である。FIG. 7 is a diagram illustrating a comparative example of an operation or process in which a display device vibrates a display in a vibration pattern according to touch coordinates. ユーザの指先とタッチパネルとの距離と、基本信号の関係を説明する図である。FIG. 3 is a diagram illustrating the relationship between the distance between a user's fingertip and a touch panel and a basic signal. 本実施形態において、ディスプレイ装置が振動パターンを先読みしてタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理を説明する図である。FIG. 7 is a diagram illustrating an operation or process in which the display device pre-reads a vibration pattern and vibrates the display with a vibration pattern according to touch coordinates in the present embodiment. ディスプレイ装置が振動パターンでディスプレイを振動させる処理の流れを説明するフローチャート図の一例である。FIG. 3 is an example of a flowchart illustrating a flow of processing in which the display device vibrates the display in a vibration pattern. FIG. ディスプレイが表示する閾値Ａの調整画面の一例である。It is an example of the adjustment screen of the threshold value A displayed on a display.

以下、本発明を実施するための形態の一例として情報処理システムと情報処理システムが行う振動方法について図面を参照しながら説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An information processing system and a vibration method performed by the information processing system will be described below as an example of an embodiment of the present invention with reference to the drawings.

＜処理の概略＞
まず、図３を用いて情報処理システム１００がディスプレイを振動させる処理の概略について説明する。図３はディスプレイにタッチするユーザの指先９と情報処理システム１００が行う処理の概略を説明する図である。 <Processing overview>
First, an outline of the process by which the information processing system 100 causes the display to vibrate will be described using FIG. 3. FIG. 3 is a diagram illustrating an outline of processing performed by the user's fingertip 9 that touches the display and the information processing system 100.

(1)本実施形態のディスプレイ装置１０は、タッチパネルに含まれる機能として近接センサーを有している。近接センサーはユーザがタッチパネルにタッチしなくても、どの位の距離に指先９があるかと指先９の座標を検出する。図３（ａ）に示すように、ディスプレイ装置１０はタッチパネルが検出する距離情報（後述する基本信号）と閾値Ａの比較結果に応じて、近接座標を本体装置５０に送信する。近接座標は、ユーザがタッチしていないがディスプレイから一定距離以内に指先が接近した時の座標である。この一定距離を以下、先読み距離Ｌという。 (1) The display device 10 of this embodiment has a proximity sensor as a function included in the touch panel. The proximity sensor detects the distance from the fingertip 9 and the coordinates of the fingertip 9 even if the user does not touch the touch panel. As shown in FIG. 3A, the display device 10 transmits proximity coordinates to the main device 50 according to a comparison result between distance information (a basic signal described later) detected by the touch panel and a threshold value A. Proximity coordinates are coordinates when the user's fingertip approaches within a certain distance from the display without touching it. This constant distance is hereinafter referred to as a look-ahead distance L.

(2) 本体装置５０は現在、表示している画面において、近接座標がタッチされた場合の振動パターンを決定する。図３（ｂ）に示すように、本体装置５０は振動パターンをディスプレイ装置１０に送信する。この間、ユーザの指先９はディスプレイに接近するか、又は、ディスプレイにタッチする（離れる場合もある）。 (2) The main device 50 determines a vibration pattern when a nearby coordinate is touched on the currently displayed screen. As shown in FIG. 3(b), the main body device 50 transmits the vibration pattern to the display device 10. During this time, the user's fingertip 9 approaches the display or touches (or leaves) the display.

(3) ユーザがディスプレイにタッチすると、ディスプレイ装置１０は(2)で保持している振動パターンでディスプレイを振動させる（図３（ｃ））。ユーザがディスプレイにタッチした時にはディスプレイ装置１０が振動パターンを保持している場合、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を大きく抑制できる。ユーザがディスプレイにタッチした時にディスプレイ装置１０が振動パターンを保持していない場合でも、ディスプレイ装置１０はユーザがタッチする前から振動パターンを要求済みなので、タッチを検出してから振動パターンを要求するよりも、タッチ座標に応じた振動パターンによる振動までの遅延を抑制できる。 (3) When the user touches the display, the display device 10 vibrates the display using the vibration pattern maintained in (2) (FIG. 3(c)). If the display device 10 holds the vibration pattern when the user touches the display, the delay from the touch by the user to the vibration caused by the vibration pattern according to the touch coordinates can be greatly suppressed. Even if the display device 10 does not hold a vibration pattern when the user touches the display, the display device 10 has already requested the vibration pattern before the user touches it, so it is better to request the vibration pattern after detecting the touch. Also, it is possible to suppress the delay until the vibration occurs due to the vibration pattern according to the touch coordinates.

このように、本実施形態の情報処理システム１００は、ユーザの指先９が先読み距離Ｌに達した場合にタッチパネルが検出する近接座標を利用して、ディスプレイ装置１０が振動パターンを先読みすることで、ユーザがタッチしてからタッチ座標に応じた振動パターンで振動するまでの遅延を抑制できる。 In this way, the information processing system 100 of the present embodiment uses the proximity coordinates detected by the touch panel when the user's fingertip 9 reaches the prereading distance L, so that the display device 10 prereads the vibration pattern. It is possible to suppress the delay between when the user touches the screen and when the device vibrates in a vibration pattern according to the touch coordinates.

＜用語について＞
入力手段はタッチパネルに座標を入力できるものをいう。本実施形態では指先を例に説明するが、電子ペンが入力手段でもよい。 <About terms>
The input means is one that can input coordinates onto a touch panel. Although this embodiment will be described using a fingertip as an example, an electronic pen may also be used as an input means.

タッチパネルとはディスプレイに表示されたメニューを指やペンでユーザが押すことによってコンピュータを操作する入力装置である。 A touch panel is an input device that allows a user to operate a computer by pressing a menu displayed on a display with a finger or pen.

タッチとは触れることをいう。押下、プッシュと称してもよい。また、一定以上の圧力が検出された場合にのみタッチと称してもよい。 Touch means touching. It may also be called pressing or pushing. Alternatively, it may be called a touch only when a pressure of a certain level or more is detected.

＜構成例＞
図４は、情報処理システム１００の車両への搭載例を示す図である。情報処理システム１００は、例えば、図４に示すように、ディスプレイ２３を車室内に向けて、車両のセンターコンソールやダッシュボード等に設置される。センターコンソールやダッシュボード内にはディスプレイ装置１０と本体装置５０とが収納されている。ディスプレイ装置１０と本体装置５０の収納場所はどこでもよい。 <Configuration example>
FIG. 4 is a diagram showing an example of mounting the information processing system 100 on a vehicle. For example, as shown in FIG. 4, the information processing system 100 is installed in a center console, dashboard, or the like of a vehicle, with the display 23 facing inside the vehicle. A display device 10 and a main body device 50 are housed in the center console or dashboard. The display device 10 and main device 50 may be stored anywhere.

情報処理システム１００は車両に搭載されており、進行方向を案内する機能を有する場合にはナビゲーション装置と呼ばれる場合がある。情報処理システム１００は出発地から目的地までの経路を検索して道路地図に設定し、ディスプレイ２３に表示された電子地図に経路と現在地を表示したり、経路に基づいて進路変更の手前で音声案内や電子地図上のアニメーションなどで適切な進路を案内したりする。この他、情報処理システム１００は、ＡＶ(Audio Visual)の再生機能、インターネットとの通信機能、スマートフォンとの通信機能等を有していてよい。 The information processing system 100 is installed in a vehicle, and may be called a navigation device if it has a function of guiding the direction of travel. The information processing system 100 searches for a route from the departure point to the destination, sets it on a road map, displays the route and current location on the electronic map displayed on the display 23, and provides voice prompts before changing course based on the route. It guides the appropriate route through guidance and animations on electronic maps. In addition, the information processing system 100 may have an AV (Audio Visual) playback function, a communication function with the Internet, a communication function with a smartphone, and the like.

この情報処理システム１００の機能のうち経路の検索を、ネットワークを介して接続したサーバ装置が行ってもよい。サーバ装置は経路情報や電子地図などを情報処理システム１００に送信する。 Among the functions of this information processing system 100, route searching may be performed by a server device connected via a network. The server device transmits route information, electronic maps, etc. to the information processing system 100.

また、情報処理システム１００がスマートフォンと通信する場合、スマートフォンに搭載されるアプリがナビ画面等を生成し、このアプリが生成するナビ画面をディスプレイ装置１０が通信で取得して表示することができる。このようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。 Further, when the information processing system 100 communicates with a smartphone, an application installed in the smartphone generates a navigation screen or the like, and the display device 10 can acquire and display the navigation screen generated by this application through communication. CarPlay (registered trademark), Android Auto (registered trademark), and the like are known as such applications.

このようにスマートフォン等と連携する場合、情報処理システム１００はディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれる装置であってもよい。ディスプレイオーディオはナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。 When working with a smartphone or the like in this way, the information processing system 100 may be a device called display audio (or connected audio). Display audio is a device that mainly provides AV and communication functions without having navigation functions.

また、情報処理システム１００は、車載された状態と携帯可能な状態の切り替えが可能であってよい。つまり、情報処理システム１００は、車両に対し脱着可能であってよい。 Further, the information processing system 100 may be able to switch between a vehicle-mounted state and a portable state. That is, the information processing system 100 may be removable from the vehicle.

＜情報処理システムの構成＞
図５は情報処理システム１００の構成例を示す図である。情報処理システム１００は、主にディスプレイ装置１０と本体装置５０とを有し、それらがインタフェース６１，６２とケーブル６３を介して通信可能に接続されている。符号６４はディスプレイ装置１０内のケーブル又は配線であり、符号６５は本体装置５０内のケーブル又は配線である。 <Configuration of information processing system>
FIG. 5 is a diagram showing a configuration example of the information processing system 100. The information processing system 100 mainly includes a display device 10 and a main body device 50, which are communicably connected via interfaces 61, 62 and a cable 63. Reference numeral 64 indicates a cable or wiring within the display device 10, and reference numeral 65 indicates a cable or wiring within the main body device 50.

ディスプレイ装置１０は主にディスプレイ制御部３０とディスプレイユニット２０を有している。ディスプレイ制御部３０はコンピュータやマイコンと呼ばれる装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置など有する。記憶装置に記憶されているプログラムはＲＡＭに展開されそれをＣＰＵが実行することで、本実施形態で説明する機能を提供する。ディスプレイ制御部３０は車室側にディスプレイユニット２０を有している。詳細は後述するが、ディスプレイユニット２０は、ユーザの指先９によるタッチ、指先９との距離に関する情報（後述の基本信号）、及び、接近からタッチまでの座標等を取得する。また、ディスプレイユニット２０はディスプレイ制御部３０からの制御を受けて、振動により情報をユーザに伝達する。 The display device 10 mainly includes a display control section 30 and a display unit 20. The display control unit 30 is a device called a computer or a microcomputer, and includes a CPU, RAM, ROM, storage device, and the like. The programs stored in the storage device are loaded into the RAM and executed by the CPU to provide the functions described in this embodiment. The display control section 30 has a display unit 20 on the vehicle interior side. Although details will be described later, the display unit 20 acquires the touch by the user's fingertip 9, information regarding the distance to the fingertip 9 (basic signal to be described later), coordinates from approach to touch, and the like. Further, the display unit 20 is controlled by the display control section 30 and transmits information to the user through vibration.

ディスプレイ制御部３０と本体装置５０は例えばＵＡＲＴ（Universal Asynchronous Receiver Transmitter）で通信する。したがって、インタフェース６１、６２はデータの送信時にはＵＡＲＴのシリアライザ（パラレル信号をシリアル信号に変換する）であり、インタフェース６１，６２はデータの受信時にはデシリアライザ（シリアル信号をパラレル信号に変換する）である。なお、ＵＡＲＴの他、通信にはSPI又はI2C等が使用されてよい。 The display control unit 30 and the main device 50 communicate using, for example, a UART (Universal Asynchronous Receiver Transmitter). Therefore, the interfaces 61 and 62 are UART serializers (converting parallel signals to serial signals) when transmitting data, and the interfaces 61 and 62 are deserializers (converting serial signals to parallel signals) when receiving data. Note that in addition to UART, SPI, I2C, or the like may be used for communication.

本体装置５０は、コンピュータやマイコンと呼ばれる装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置など有する。記憶装置に記憶されているプログラムはＲＡＭに展開されＣＰＵが実行することで、本実施形態で説明する機能を提供する。本体装置５０は、ナビゲーション機能、ＡＶ機能、インターネットとの通信機能、スマートフォンとの通信機能など、様々な機能を提供しうる。 The main device 50 is a device called a computer or a microcomputer, and includes a CPU, RAM, ROM, storage device, and the like. The programs stored in the storage device are loaded into the RAM and executed by the CPU to provide the functions described in this embodiment. The main body device 50 can provide various functions such as a navigation function, an AV function, a communication function with the Internet, and a communication function with a smartphone.

＜ディスプレイユニットの構造＞
続いて、図６を参照してディスプレイユニット２０について説明する。図６は、ディスプレイユニット２０の断面図を示す。図６に示すように、ディスプレイユニット２０は車室側から、保護ガラス２１（又は保護フィルムでもよい）、タッチパネル２２、及び、ディスプレイ２３がほぼ重なって配置されている。また、ディスプレイ２３のディスプレイ装置１０側にはボイスコイルなどのアクチュエータ２４がディスプレイ２３に接した状態で配置されている。アクチュエータ２４を除くディスプレイユニット２０は、車両に固定されていない浮いた状態（収納スペースに対し振動可能な空間がある）であり、アクチュエータ２４により支持されている。このため、アクチュエータ２４が振動するとディスプレイユニット２０の全体が空間内で振動し、ユーザの指先９に触感を介して振動を伝えることができる。なお、ボイスコイルを用いた振動方式は一例であって、振動モータ、圧電素子、又は、エレクトロ・アクティブポリマなどで振動させてもよい。 <Structure of display unit>
Next, the display unit 20 will be explained with reference to FIG. FIG. 6 shows a cross-sectional view of the display unit 20. As shown in FIG. 6, in the display unit 20, a protective glass 21 (or a protective film may be used), a touch panel 22, and a display 23 are arranged so as to substantially overlap each other from the vehicle interior side. Further, an actuator 24 such as a voice coil is arranged on the display device 10 side of the display 23 in contact with the display 23. The display unit 20, excluding the actuator 24, is not fixed to the vehicle and is in a floating state (there is a space where it can vibrate relative to the storage space), and is supported by the actuator 24. Therefore, when the actuator 24 vibrates, the entire display unit 20 vibrates in space, and the vibration can be transmitted to the user's fingertip 9 through the tactile sensation. Note that the vibration method using a voice coil is just one example, and vibration may be performed using a vibration motor, a piezoelectric element, an electro-active polymer, or the like.

また、タッチパネルの方式には、抵抗膜方式、静電容量方式、表面型静電容量方式、投影型静電容量方式、超音波表面弾性波方式、赤外光学方式、電磁誘導方式などがある。本実施形態では近接した指先９を検出が可能な方式であればよい。例えば、静電容量方式、表面型静電容量方式、投影型静電容量方式、又は、赤外光学方式等がある。 Touch panel methods include a resistive film method, a capacitive method, a surface capacitive method, a projected capacitive method, an ultrasonic surface acoustic wave method, an infrared optical method, an electromagnetic induction method, and the like. In this embodiment, any method that can detect a fingertip 9 in close proximity may be used. For example, there are a capacitance method, a surface capacitance method, a projected capacitance method, an infrared optical method, and the like.

＜情報処理システムが有する各種の機能＞
次に、図７を参照して情報処理システム１００が有する各種の機能を説明する。図７は、ディスプレイユニット２０、ディスプレイ制御部３０、及び、本体装置５０が有する機能を示す。これまで説明したように、情報処理システム１００は、主に、ディスプレイユニット２０、ディスプレイ制御部３０、及び、本体装置５０を有している。 <Various functions of the information processing system>
Next, various functions included in the information processing system 100 will be explained with reference to FIG. 7. FIG. 7 shows the functions of the display unit 20, display control section 30, and main device 50. As described above, the information processing system 100 mainly includes the display unit 20, the display control section 30, and the main body device 50.

まず、本体装置５０ではオペレーティングシステム５１と、オペレーティングシステム５１上で稼働する複数のアプリケーション５２が動作する。アプリケーション５２は、オペレーティングシステム５１を介して、ディスプレイ制御部３０にデータを送信したり、タッチパネルが検出する情報を受け取ったりする。また、各アプリケーション５２はアクチュエータ２４を駆動させる振動パターンをディスプレイ制御部３０に送信する。 First, in the main body device 50, an operating system 51 and a plurality of applications 52 running on the operating system 51 operate. The application 52 transmits data to the display control unit 30 and receives information detected by the touch panel via the operating system 51. Further, each application 52 transmits a vibration pattern for driving the actuator 24 to the display control unit 30.

本体装置５０で動作するアプリケーション５２は、様々であるが、例えば、地図アプリ（ナビアプリ）、テレビアプリ、ラジオアプリ、インターネットとの通信アプリ、電話アプリ、スマホ連携アプリなどである。 The applications 52 that operate on the main device 50 are various, and include, for example, a map application (navigation application), a television application, a radio application, a communication application with the Internet, a telephone application, a smartphone cooperation application, and the like.

ディスプレイ制御部３０は、表示コントローラ３１、タッチパネルコントローラ３２、及び、振動応答コントローラ３３を有している。表示コントローラ３１は、本体装置５０で動作するオペレーティングシステム５１又はアプリケーション５２が送信する画面データに応じてディスプレイ２３に画像を表示する。したがって、どのよう画面が表示されるかは、実行されているアプリケーション５２によって様々である。 The display control unit 30 includes a display controller 31, a touch panel controller 32, and a vibration response controller 33. The display controller 31 displays images on the display 23 in accordance with screen data transmitted by an operating system 51 or an application 52 running on the main body device 50 . Therefore, how the screen is displayed varies depending on the application 52 being executed.

タッチパネルコントローラ３２はタッチパネルから、タッチパネルが検出する基本信号を受信できる。基本信号とは、静電容量の大きさ又は静電容量が扱いやすい信号に変換された信号である。タッチパネルコントローラ３２は、例えば、ある容量がいっぱいになるまでの時間、容量を満たすための単位容量の数などで基本信号を常に検出している。基本信号は後述するようにタッチパネル２２からユーザの指先９までの距離と相関しており、距離情報と見なすことができる。タッチパネルコントローラ３２は基本信号に基づいて、ユーザのタッチの有無、及び、ユーザの指先９がディスプレイ２３に対し先読み距離Ｌまで近接したことを検出する。 The touch panel controller 32 can receive basic signals detected by the touch panel from the touch panel. The basic signal is a signal in which the magnitude of capacitance or capacitance is converted into a signal that is easy to handle. The touch panel controller 32 constantly detects basic signals based on, for example, the time it takes for a certain capacity to become full, the number of unit capacities to fill the capacity, and the like. The basic signal is correlated with the distance from the touch panel 22 to the user's fingertip 9, as will be described later, and can be regarded as distance information. The touch panel controller 32 detects the presence or absence of a touch by the user and the proximity of the user's fingertip 9 to the display 23 by a look-ahead distance L based on the basic signal.

また、タッチパネルコントローラ３２は、タッチパネル２２からの基本信号で、ユーザの指先９がタッチしたことを検出した場合、ユーザの指先９がタッチしたタッチ座標（ディスプレイにおける座標）を検出する。同様に、タッチパネル２２からの基本信号で、ユーザの指先９が先読み距離Ｌに接近したことを検出した場合、ユーザの指先９の近接座標を検出する。 Further, when the touch panel controller 32 detects a touch by the user's fingertip 9 using the basic signal from the touch panel 22, the touch panel controller 32 detects the touch coordinates (coordinates on the display) touched by the user's fingertip 9. Similarly, when it is detected by the basic signal from the touch panel 22 that the user's fingertip 9 approaches the pre-reading distance L, the proximity coordinates of the user's fingertip 9 are detected.

タッチの発生、又は、ユーザの指先９が先読み距離Ｌに接近した場合、タッチパネルコントローラ３２はタッチパネル２２が検出する座標を本体装置５０のオペレーティングシステム５１に出力する。座標だけでなく、タッチ検出又はユーザの指先９が先読み距離Ｌに接近したことも通知される。オペレーティングシステム５１は例えばハードウェア割り込みの仕組みを使って、タッチパネルコントローラ３２からの通知を検出する。オペレーティングシステム５１は通知された情報をタッチパネルコントローラ３２から取得して、現在アクティブのアプリケーション５２に通知する。アクティブとは、ディスプレイに画面を表示している状態をいう。オペレーティングシステム５１はタッチパネルコントローラ３２との通信を行う専用のアプリケーション５２に情報を通知してもよい。 When a touch occurs or when the user's fingertip 9 approaches the preread distance L, the touch panel controller 32 outputs the coordinates detected by the touch panel 22 to the operating system 51 of the main device 50. Not only the coordinates but also the touch detection or the fact that the user's fingertip 9 approaches the look-ahead distance L is notified. The operating system 51 uses, for example, a hardware interrupt mechanism to detect notifications from the touch panel controller 32. The operating system 51 acquires the notified information from the touch panel controller 32 and notifies the currently active application 52. Active refers to a state in which a screen is displayed on the display. The operating system 51 may notify information to a dedicated application 52 that communicates with the touch panel controller 32.

情報を通知されたアプリケーション５２は、タッチ検出の場合はタッチ座標に応じた処理を行う。ユーザの指先９が先読み距離Ｌに接近したことが通知された場合、アプリケーション５２は振動パターンを決定することができる。 The application 52 that has been notified of the information performs processing according to the touch coordinates in the case of touch detection. If the application 52 is notified that the user's fingertip 9 has approached the look-ahead distance L, the application 52 can determine a vibration pattern.

振動応答コントローラ３３は、アクチュエータ２４に振動パターンの交流電圧を印加してディスプレイ２３を振動させる。振動応答コントローラ３３は様々な交流電圧を印加でき、交流電圧の波形を異ならせることで振動状態を変化させることができる。振動パターンはオペレーティングシステム５１を介してアプリケーション５２から指示される。アプリケーション５２は、ユーザがタッチしたタッチ座標又はユーザの指先９が先読み距離Ｌに接近した時の近接座標に応じて適切な振動パターンをタッチパネルコントローラ３２に送信する。 The vibration response controller 33 applies an AC voltage having a vibration pattern to the actuator 24 to cause the display 23 to vibrate. The vibration response controller 33 can apply various AC voltages, and can change the vibration state by changing the waveform of the AC voltage. The vibration pattern is instructed by the application 52 via the operating system 51. The application 52 transmits an appropriate vibration pattern to the touch panel controller 32 according to the touch coordinates touched by the user or the proximity coordinates when the user's fingertip 9 approaches the preread distance L.

タッチパネルコントローラ３２は、アプリケーション５２から送信された振動パターンを保存しておき、タッチを検出すると、すでに受け取っている振動パターンによるアクチュエータ２４の駆動を振動応答コントローラ３３に要求する。こうすることで、レスポンスのよい情報伝達を実現できる。 The touch panel controller 32 stores the vibration pattern transmitted from the application 52, and upon detecting a touch, requests the vibration response controller 33 to drive the actuator 24 using the vibration pattern already received. In this way, information transmission with good response can be achieved.

なお、タッチパネルコントローラ３２は、近接座標とタッチ座標を比較して、所定差以上のずれがある場合は、保持している振動パターンでの振動を振動応答コントローラ３３に要求しない。近接座標とタッチ座標とが一定以上異なる場合、振動パターンがタッチ座標に対応したものとは限らなくなるためである。この場合は、タッチ座標に対してタッチパネルコントローラ３２がアプリケーション５２から改めて取得した振動パターンによる振動を振動応答コントローラ３３に要求する。 Note that the touch panel controller 32 compares the proximity coordinates and the touch coordinates, and if there is a deviation of more than a predetermined difference, the touch panel controller 32 does not request the vibration response controller 33 to vibrate in the held vibration pattern. This is because if the proximity coordinates and the touch coordinates differ by a certain amount or more, the vibration pattern does not necessarily correspond to the touch coordinates. In this case, the touch panel controller 32 requests the vibration responsive controller 33 to vibrate based on the vibration pattern newly acquired from the application 52 for the touch coordinates.

＜振動応答コントローラの構成例＞
図８は、振動応答コントローラ３３の構成図の一例である。振動応答コントローラ３３は、信号処理部３３ａ、高電圧発生回路３３ｂ、フィルタ３３ｃ、及び、増幅回路３３ｄを有している。アクチュエータ２４を駆動する場合、信号処理部３３ａは高電圧発生回路３３ｂに、アプリケーション５２から送信された振動パターンに応じた高電圧を発生させる。電圧はＰＷＭ信号のデューティー比で指示され、信号処理部３３ａはフィードバック制御により目的の高電圧を生成する。 <Example of configuration of vibration response controller>
FIG. 8 is an example of a configuration diagram of the vibration response controller 33. The vibration response controller 33 includes a signal processing section 33a, a high voltage generation circuit 33b, a filter 33c, and an amplification circuit 33d. When driving the actuator 24, the signal processing unit 33a causes the high voltage generation circuit 33b to generate a high voltage according to the vibration pattern transmitted from the application 52. The voltage is specified by the duty ratio of the PWM signal, and the signal processing section 33a generates the desired high voltage through feedback control.

また、信号処理部３３ａはアプリケーション５２から送信された振動パターンに対応するＰＷＭ信号をフィルタ３３ｃに出力する。このフィルタ３３ｃはローパスフィルタであるためアナログ信号を生成する。こうするとＰＷＭ信号の生成回路はデジタル回路だけで構成してアナログ信号を生成できる。増幅回路３３ｄは高電圧発生回路３３ｂが発生した電圧でアナログ信号を増幅する。増幅されたアナログ信号がアクチュエータ２４（ボイスコイルなど）に入力されるので、アクチュエータ２４はアプリケーション５２から指示された振動パターンで振動することができる。 Further, the signal processing unit 33a outputs a PWM signal corresponding to the vibration pattern transmitted from the application 52 to the filter 33c. Since this filter 33c is a low-pass filter, it generates an analog signal. In this way, the PWM signal generation circuit can be configured with only digital circuits to generate analog signals. The amplifier circuit 33d amplifies the analog signal using the voltage generated by the high voltage generation circuit 33b. Since the amplified analog signal is input to the actuator 24 (such as a voice coil), the actuator 24 can vibrate in a vibration pattern instructed by the application 52.

＜機能について＞
図９を参照して、タッチパネルコントローラ３２と振動応答コントローラ３３の詳細な機能を説明する。図９はタッチパネルコントローラ３２と振動応答コントローラ３３の機能をブロック状に分けて説明する機能ブロック図の一例である。 <About functions>
Referring to FIG. 9, detailed functions of the touch panel controller 32 and the vibration response controller 33 will be described. FIG. 9 is an example of a functional block diagram illustrating the functions of the touch panel controller 32 and the vibration response controller 33 divided into blocks.

まず、タッチパネルコントローラ３２は座標検出部４１、判断部４２、第一通信部４３、振動パターン保持部４４、及び、第二通信部４５を有している。タッチパネルコントローラ３２が有するこれらの機能は、ディスプレイ装置１０が有する記憶装置からＲＡＭ上に展開されたプログラムの命令をＣＰＵが実行することで実現される機能又は手段である。 First, the touch panel controller 32 includes a coordinate detection section 41 , a determination section 42 , a first communication section 43 , a vibration pattern holding section 44 , and a second communication section 45 . These functions possessed by the touch panel controller 32 are functions or means realized by the CPU executing instructions of a program loaded onto the RAM from the storage device possessed by the display device 10.

座標検出部４１は基本信号をタッチパネルの全体から所定の周期で検出しており、基本信号が基準を満たす（ノイズでないと見なせる）座標があるとその座標を検出する。ノイズと見なせるほど基本信号が小さい場合、基本信号が基準を満たすまでは座標を破棄する。基本信号が基準を満たす場合、座標検出部４１は座標を第一通信部４３に通知する。 The coordinate detection unit 41 detects the basic signal from the entire touch panel at a predetermined period, and if there is a coordinate where the basic signal satisfies the standard (it can be considered that it is not noise), that coordinate is detected. If the basic signal is small enough to be considered noise, coordinates are discarded until the basic signal satisfies the criteria. If the basic signal satisfies the criteria, the coordinate detection section 41 notifies the first communication section 43 of the coordinates.

なお、座標検出部４１はマルチタッチに対応しており、タッチ時だけでなくタッチされる前においても同時に複数の座標を検出することができる。 Note that the coordinate detection unit 41 supports multi-touch, and can detect a plurality of coordinates simultaneously not only when touched but also before being touched.

判断部４２は、基準を満たす基本信号を閾値Ａ及び閾値Ｂ（閾値Ａ＜閾値Ｂ）と比較して、ユーザの指先９が先読み距離Ｌまで接近したのか否か、及び、タッチしたのか否かを判断する。判断部４２は、閾値Ａ＜基本信号の判断結果を座標検出部４１に通知する。これにより、座標検出部４１は、この判断時、又は前後に取得した座標を、ユーザの指先９が先読み距離Ｌに達した時の近接座標として第一通信部４３に通知する。 The determining unit 42 compares the basic signal that satisfies the criteria with a threshold value A and a threshold value B (threshold value A<threshold value B), and determines whether the user's fingertip 9 has approached the pre-reading distance L and whether or not the user has touched it. to judge. The determining unit 42 notifies the coordinate detecting unit 41 of the determination result that the threshold value A is less than the basic signal. Thereby, the coordinate detection unit 41 notifies the first communication unit 43 of the coordinates acquired at the time of this determination or before and after this determination as the proximate coordinates when the user's fingertip 9 reaches the prereading distance L.

また、判断部４２は、閾値Ｂ＜基本信号の判断結果を座標検出部４１及び第二通信部４５に通知する。これにより、座標検出部４１は、この判断時、又は前後に取得した座標を、タッチ座標として第一通信部４３に通知する。 Further, the determining unit 42 notifies the coordinate detecting unit 41 and the second communication unit 45 of the determination result that the threshold value B is smaller than the basic signal. Thereby, the coordinate detection unit 41 notifies the first communication unit 43 of the coordinates acquired at the time of this determination or before and after this determination as the touch coordinates.

第一通信部４３は、座標検出部４１が取得した座標（ノイズ以上の基本信号の座標）、ユーザの指先９が先読み距離Ｌに接近したこと（及び近接座標）、及び、タッチ検出（及びタッチ座標）をアプリケーション５２に通知する。第一通信部４３はタッチ座標又は近接座標に対応する振動パターンをアプリケーション５２から受信し、振動パターン保持部４４に送出する。 The first communication unit 43 detects the coordinates acquired by the coordinate detection unit 41 (coordinates of the basic signal greater than noise), the fact that the user's fingertip 9 has approached the prereading distance L (and the proximity coordinates), and the touch detection (and the touch detection coordinates) to the application 52. The first communication unit 43 receives a vibration pattern corresponding to the touch coordinates or proximity coordinates from the application 52 and sends it to the vibration pattern holding unit 44 .

振動パターン保持部４４はアプリケーション５２から受信した振動パターンを、タッチ検出されるまで保持しておく。振動パターンの受信よりもタッチ検出の方が先の場合もある。 The vibration pattern holding unit 44 holds the vibration pattern received from the application 52 until a touch is detected. In some cases, touch detection comes before the reception of the vibration pattern.

第二通信部４５は、判断部４２から閾値Ｂ＜基本信号の判断結果（タッチ検出）を取得すると、振動パターン保持部４４に記憶されている振動パターンと振動要求を振動応答コントローラ３３に送信する。タッチ検出時に振動パターンが振動パターン保持部４４に記憶されていない場合、振動パターンを受信したタイミングで振動パターンと振動要求を振動応答コントローラ３３に送信する。 When the second communication unit 45 obtains the judgment result (touch detection) that the threshold value B is less than the basic signal from the judgment unit 42, the second communication unit 45 transmits the vibration pattern stored in the vibration pattern holding unit 44 and the vibration request to the vibration response controller 33. . If the vibration pattern is not stored in the vibration pattern holding unit 44 at the time of touch detection, the vibration pattern and the vibration request are transmitted to the vibration response controller 33 at the timing when the vibration pattern is received.

なお、判断部４２は、近接座標とタッチ座標を比較して、所定差以上のずれがある場合は、振動パターン保持部４４が保持している振動パターンを破棄してよい。この場合、第一通信部４３が、再度、タッチ座標に対応した振動パターンをアプリケーション５２から取得する。 Note that the determining unit 42 may compare the proximity coordinates and the touch coordinates, and if there is a deviation of a predetermined difference or more, discard the vibration pattern held by the vibration pattern holding unit 44. In this case, the first communication unit 43 acquires the vibration pattern corresponding to the touch coordinates from the application 52 again.

振動応答コントローラ３３は、振動制御部４６、及び、第三通信部４７を有する。振動応答コントローラ３３が有するこれらの機能は、ディスプレイ装置１０が有する記憶装置からＲＡＭ上に展開されたプログラムの命令をＣＰＵが実行することで実現される機能又は手段である。 The vibration response controller 33 includes a vibration control section 46 and a third communication section 47. These functions possessed by the vibration response controller 33 are functions or means realized by the CPU executing instructions of a program loaded onto the RAM from the storage device possessed by the display device 10.

第三通信部４７は、タッチパネルコントローラ３２と通信し、振動パターンや振動要求を受信する。振動制御部４６は、タッチパネルコントローラ３２から受信した振動パターンでアクチュエータ２４を駆動させる。 The third communication unit 47 communicates with the touch panel controller 32 and receives vibration patterns and vibration requests. The vibration control unit 46 drives the actuator 24 using the vibration pattern received from the touch panel controller 32.

＜動作又は処理＞
続いて、図１０～図１２を参照して情報処理システム１００の動作を説明する。まず、本実施形態を説明するにあたって、参考になる比較例を説明する。なお、比較例は従来技術や公知技術とは限らないことに注意されたい。 <Operation or processing>
Next, the operation of the information processing system 100 will be explained with reference to FIGS. 10 to 12. First, in describing this embodiment, a comparative example will be described that will be helpful. Note that the comparative example is not limited to conventional technology or known technology.

図１０は、ディスプレイ装置１０がタッチ座標に応じた振動パターンでディスプレイ２３を振動させる動作又は処理の比較例を説明する図である。 FIG. 10 is a diagram illustrating a comparative example of an operation or process in which the display device 10 vibrates the display 23 in a vibration pattern according to touch coordinates.

S1：ユーザがタッチパネルにタッチすると、基本信号が閾値Ｂ以上になったと判断部４２が判断し、タッチが検出される。 S1: When the user touches the touch panel, the determining unit 42 determines that the basic signal has become equal to or higher than threshold B, and the touch is detected.

S2：第一通信部４３はタッチ座標及びタッチ検出を本体装置５０に送信する。 S2: The first communication unit 43 transmits the touch coordinates and touch detection to the main device 50.

S3：本体装置５０のアプリケーション５２はタッチ座標に応じた振動パターンをディスプレイ装置１０に送信する。 S3: The application 52 of the main device 50 transmits a vibration pattern according to the touch coordinates to the display device 10.

S4：ディスプレイ装置１０は振動パターンを受信して、この振動パターンでアクチュエータ２４を駆動する。 S4: The display device 10 receives the vibration pattern and drives the actuator 24 with this vibration pattern.

したがって、ユーザがディスプレイ２３にタッチしてからディスプレイ２３が振動するまでの遅延が大きくなってしまう。 Therefore, the delay from when the user touches the display 23 to when the display 23 vibrates becomes large.

次に、図１１を参照して、本実施形態で使用する基本信号と閾値Ａ、閾値Ｂを説明する。図１１は、ユーザの指先とタッチパネルとの距離と、基本信号の関係を説明する図である。横軸を時間、縦軸を基本信号の大きさとする。基本信号が大きいことはユーザの指先９とタッチパネルの距離が小さいこと（近いこと）を意味し、基本信号が小さいことはユーザの指先９とタッチパネルの距離が大きいこと（遠いこと）を意味する。図１１に示すライン２１０は、ユーザの指先９がタッチパネルに徐々に接近し、タッチした場合の基本信号の変化を示している。 Next, with reference to FIG. 11, the basic signal, threshold value A, and threshold value B used in this embodiment will be explained. FIG. 11 is a diagram illustrating the relationship between the distance between the user's fingertip and the touch panel and the basic signal. The horizontal axis is time and the vertical axis is the magnitude of the basic signal. A large basic signal means that the distance between the user's fingertip 9 and the touch panel is small (near), and a small basic signal means that the distance between the user's fingertip 9 and the touch panel is large (far). A line 210 shown in FIG. 11 indicates a change in the basic signal when the user's fingertip 9 gradually approaches and touches the touch panel.

時刻ｔ１…基本信号がノイズ以上の大きさになり始めたので、座標検出部４１が座標の取得を開始する。したがって、判断部４２が指先９の接近を検出し始める。 Time t1: The basic signal begins to exceed the noise level, so the coordinate detection unit 41 starts acquiring coordinates. Therefore, the determination unit 42 starts detecting the approach of the fingertip 9.

時刻ｔ２…基本信号が閾値Ａを超えた。したがって、タッチパネルコントローラ３２は振動パターンの取得を開始する。 Time t2...The basic signal exceeds the threshold value A. Therefore, the touch panel controller 32 starts acquiring vibration patterns.

時刻ｔ３…ユーザの指先９がタッチパネルにタッチし、基本信号が閾値Ｂを超えた。タッチする/しないでは基本信号のレンジが異なるため、タッチにより基本信号が跳ね上がる。従来は時刻ｔ３で、タッチパネルコントローラ３２が振動パターンの取得を開始していた。 Time t3...The user's fingertip 9 touches the touch panel, and the basic signal exceeds the threshold value B. The range of the basic signal is different depending on whether you touch it or not, so the basic signal jumps when you touch it. Conventionally, the touch panel controller 32 started acquiring vibration patterns at time t3.

時刻ｔ２と時刻ｔ３の差を時間Ｔとすると、僅かな時間ではあるが、実際のタッチより先行してタッチパネルコントローラ３２が振動パターンを入手できるので、レスポンスを改善できることが分かる。 Assuming that the difference between time t2 and time t3 is time T, it can be seen that since the touch panel controller 32 can obtain the vibration pattern in advance of the actual touch, the response can be improved, although it is a short time.

図１２は、本実施形態において、ディスプレイ装置１０が振動パターンを先読みしてタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理を説明する図である。 FIG. 12 is a diagram illustrating an operation or process in which the display device 10 reads a vibration pattern in advance and vibrates the display with a vibration pattern according to the touch coordinates in this embodiment.

S11：ユーザがタッチパネルに指先９を接近させる。座標検出部４１はノイズ以上の基本信号を検出するので、座標の検出を開始する。 S11: The user brings the fingertip 9 close to the touch panel. Since the coordinate detection unit 41 detects a basic signal that is higher than noise, it starts detecting coordinates.

S12：タッチパネルコントローラ３２の第一通信部４３は座標を随時、本体装置５０に送信する。随時とは、取得したタイミングや周期的など、本体装置５０が処理に座標を利用できる頻度で送信することをいう。本体装置５０からの要求に対して送信してもよい。例えば、操作性を向上させるため、本体装置５０が座標に最も近いボタンを大きくする等の処理が可能になる。 S12: The first communication unit 43 of the touch panel controller 32 transmits the coordinates to the main device 50 at any time. "As needed" means that the coordinates are transmitted at a frequency that allows the main body device 50 to use the coordinates for processing, such as at the acquired timing or periodically. It may also be transmitted in response to a request from the main device 50. For example, in order to improve operability, the main body device 50 can perform processing such as enlarging the button closest to the coordinates.

S13：次に、判断部４２は基本信号が閾値Ａを超えたと判断する。 S13: Next, the determining unit 42 determines that the basic signal exceeds the threshold value A.

S14：第一通信部４３は、指先が先読み距離Ｌに達した旨及び近接座標を本体装置５０に送信する。具体的には閾値Ａを超えた時の近接座標を指定し、振動パターンを要求する。閾値Ａを超えた時の近接座標は、基本信号が閾値Ａを超えたと判断部４２が判断する直前に、座標検出部４１が取得した座標でもよいし、直後に座標検出部４１が取得した座標でもよい。 S14: The first communication unit 43 transmits the fact that the fingertip has reached the pre-reading distance L and the proximity coordinates to the main device 50. Specifically, the proximity coordinates when the threshold value A is exceeded are specified, and a vibration pattern is requested. The proximity coordinates when the threshold value A is exceeded may be the coordinates acquired by the coordinate detection unit 41 immediately before the determination unit 42 determines that the basic signal exceeds the threshold value A, or the coordinates acquired by the coordinate detection unit 41 immediately after. But that's fine.

S15：次に、判断部４２は基本信号が閾値Ｂを超えたと判断する。すなわちタッチを検出する。タッチ検出の方が振動パターンの受信より先の場合、第二通信部４５は振動パターンの受信を待機する。 S15: Next, the determining unit 42 determines that the basic signal exceeds the threshold value B. In other words, a touch is detected. If the touch detection comes before the reception of the vibration pattern, the second communication unit 45 waits to receive the vibration pattern.

S16：アプリケーション５２は近接座標に応じた振動パターンをディスプレイ装置１０に送信する。タッチパネルコントローラ３２の第一通信部４３は振動パターンを受信し、振動パターン保持部４４に保存する。第二通信部４５は振動要求と振動パターンを振動応答コントローラ３３に送信する。 S16: The application 52 transmits a vibration pattern according to the proximity coordinates to the display device 10. The first communication unit 43 of the touch panel controller 32 receives the vibration pattern and stores it in the vibration pattern holding unit 44 . The second communication unit 45 transmits the vibration request and the vibration pattern to the vibration response controller 33.

S17：振動応答コントローラ３３は振動パターンでアクチュエータ２４を駆動させる。これにより、ディスプレイ２３が振動し、ユーザに振動による情報伝達が行われる。 S17: The vibration response controller 33 drives the actuator 24 in a vibration pattern. As a result, the display 23 vibrates, and information is transmitted to the user by vibration.

このように、本実施形態の情報処理システム１００は、ユーザの指先９が接近した時点で振動パターンの先読みを行うので、タッチしてから振動するまでの遅延を抑制できる。また、ユーザの指先９が接近した時点で振動パターンを取得する処理は、本体装置５０で必要な仕様変更が少なく、本体装置５０とディスプレイ装置１０の仕様すり合わせで開発者が対応できるというメリットもある。 In this way, the information processing system 100 of this embodiment pre-reads the vibration pattern when the user's fingertip 9 approaches, so it is possible to suppress the delay from touch to vibration. Additionally, the process of acquiring the vibration pattern when the user's fingertip 9 approaches requires fewer specification changes in the main device 50, and has the advantage that the developer can respond by adjusting the specifications of the main device 50 and the display device 10. .

＜ディスプレイ装置の処理の流れ＞
図１３は、ディスプレイ装置１０が振動パターンでディスプレイを振動させる処理の流れを説明するフローチャート図である。なお、一部の処理はシーケンス図と共通である。 <Display device processing flow>
FIG. 13 is a flowchart illustrating a process in which the display device 10 vibrates the display in a vibration pattern. Note that some processing is common to the sequence diagram.

座標検出部４１はノイズ以上の基本信号を検出した否かを判断する（Ｓ１０１）。ステップＳ１０１の判断がＹｅｓの場合、タッチパネルコントローラ３２の第一通信部４３は座標を随時、本体装置５０に送信する（Ｓ１０２）。 The coordinate detection unit 41 determines whether a basic signal greater than noise is detected (S101). If the determination in step S101 is Yes, the first communication unit 43 of the touch panel controller 32 transmits the coordinates to the main device 50 at any time (S102).

ステップＳ１０１の判断がＮｏの場合、座標検出部４１は座標を検出しないで、ステップＳ１０１の判断を繰り返す。 If the determination in step S101 is No, the coordinate detection unit 41 repeats the determination in step S101 without detecting the coordinates.

次に、判断部４２は、基本信号が閾値Ａを超えたか否かを判断する（Ｓ１０３）。ステップＳ１０３の判断がＹｅｓの場合、第一通信部４３はユーザの指先９が先読み距離Ｌまで接近した時の近接座標と振動パターンの要求を本体装置５０に送信する（Ｓ１０４）。ステップＳ１０３の判断がＮｏの場合、座標検出部４１はステップＳ１０の判断を繰り返す。 Next, the determining unit 42 determines whether the basic signal exceeds the threshold value A (S103). If the determination in step S103 is Yes, the first communication unit 43 transmits a request for proximity coordinates and a vibration pattern when the user's fingertip 9 approaches to the pre-reading distance L to the main device 50 (S104). If the determination in step S103 is No, the coordinate detection unit 41 repeats the determination in step S10.

次に、第一通信部４３は振動パターンを既に受信しているか否かを判断する（Ｓ１０５）。振動パターンの要求を本体装置５０に送信した直後は、Ｎｏと判断される。 Next, the first communication unit 43 determines whether the vibration pattern has already been received (S105). Immediately after transmitting the vibration pattern request to the main device 50, the determination is No.

ステップＳ１０５の判断がＮｏの場合、第一通信部４３は振動パターンを本体装置５０から受信したか否かを判断する（Ｓ１０６）。したがって、振動パターンを受信するまではステップＳ１０５とステップＳ１０６の判断が繰り返される。フローチャート図では作図の都合上、振動パターンを受信するまでステップＳ１０７のタッチ検出が行われていないが、タッチ検出は振動パターンの受信とは非同期に行われている点に注意されたい。タッチ検出が先の場合は、振動パターンの受信までタッチパネルコントローラ３２が待機する（振動パターンがないと振動できない）。 If the determination in step S105 is No, the first communication unit 43 determines whether a vibration pattern has been received from the main device 50 (S106). Therefore, the determinations in step S105 and step S106 are repeated until the vibration pattern is received. In the flowchart, for convenience of drawing, the touch detection in step S107 is not performed until the vibration pattern is received, but it should be noted that the touch detection is performed asynchronously with the reception of the vibration pattern. If the touch is detected first, the touch panel controller 32 waits until the vibration pattern is received (it cannot vibrate unless there is a vibration pattern).

ステップＳ１０５の判断がＹｅｓの場合、又は、ステップＳ１０６の判断がＹｅｓの場合、判断部４２は基本信号が閾値Ｂを超えたか否か、すなわち、タッチ検出されたか否かを判断する（Ｓ１０７）。 If the determination in step S105 is Yes, or if the determination in step S106 is Yes, the determination unit 42 determines whether the basic signal exceeds threshold B, that is, whether or not a touch has been detected (S107).

なお、ステップＳ１０７では必ずしもタッチが検出されなくてもよい。この場合、例えば、タッチ検出の直前の大きさ（閾値Ｂよりわずかに小さい大きさ）に基本信号が達したら判断部４２がタッチと見なす。こうすることで、更にレスポンスを改善できる。ユーザが実際にはディスプレイ２３にタッチしなかった場合、ディスプレイ２３が振動してもユーザに伝わらないのでデメリットは少ない。 Note that a touch does not necessarily have to be detected in step S107. In this case, for example, when the basic signal reaches a magnitude immediately before touch detection (a magnitude slightly smaller than threshold B), the determination unit 42 considers it to be a touch. By doing this, you can further improve the response. If the user does not actually touch the display 23, even if the display 23 vibrates, it will not be transmitted to the user, so there is little disadvantage.

ステップＳ１０７の判断がＮｏの場合、判断部４２は基本信号が閾値Ａを超えてから一定時間が経過したか否かを判断する（Ｓ１０８）。つまり、いったんは指先９が接近したが、実際にタッチされるまでに一定時間以上が経過したかどうかを判断する。この場合、タッチされても近接座標とタッチ座標に関係がない可能性があるので、図１３の処理を終了する。この場合、基本信号に応じて再度、図１３の処理が実行される。 If the determination in step S107 is No, the determining unit 42 determines whether a certain period of time has elapsed since the basic signal exceeded the threshold value A (S108). That is, although the fingertip 9 once approached, it is determined whether a certain period of time or more has elapsed before the fingertip 9 is actually touched. In this case, even if touched, there is a possibility that there is no relationship between the proximity coordinate and the touch coordinate, so the process in FIG. 13 ends. In this case, the process in FIG. 13 is executed again according to the basic signal.

一定時間が経過するまでは、判断部４２はステップＳ１０７の判断を繰り返す。 The determining unit 42 repeats the determination in step S107 until a certain period of time has elapsed.

そして、ステップＳ１０７の判断がＹｅｓになると、判断部４２は近接座標とタッチ座標の差が所定差以内かどうかを判断する（Ｓ１０９）。所定差は、アプリケーション５２が表示するおよそのボタンの大きさで決定されている。例えば、ボタンの縦横の長さが１ｃｍだとすると、±５ｍｍのずれで、振動パターンがタッチ座標に対応したものでなくなってしまう。この場合、所定差は４～５ｍｍである。したがって、近接座標とタッチ座標の差が所定差以内かどうかを判断することで、振動パターンがタッチ座標に対応したものである可能性が高い場合に、先読みした振動パターンで振動できる。ステップＳ１１０の判断がＮｏの場合、判断部４２は振動パターンを破棄する（Ｓ１１０）。 Then, when the determination in step S107 becomes Yes, the determination unit 42 determines whether the difference between the proximity coordinate and the touch coordinate is within a predetermined difference (S109). The predetermined difference is determined based on the approximate size of the button displayed by the application 52. For example, if the length and width of the button are 1 cm, a deviation of ±5 mm will cause the vibration pattern to no longer correspond to the touch coordinates. In this case, the predetermined difference is 4 to 5 mm. Therefore, by determining whether the difference between the proximity coordinate and the touch coordinate is within a predetermined difference, it is possible to vibrate with the pre-read vibration pattern when there is a high possibility that the vibration pattern corresponds to the touch coordinate. If the determination in step S110 is No, the determination unit 42 discards the vibration pattern (S110).

振動パターンを破棄した場合、第一通信部４３はタッチ座標を指定して、振動パターンをアプリケーション５２から取得する（Ｓ１１１）。こうすることで、遅延は生じてもタッチ座標に対応した振動パターンで振動できる。 When the vibration pattern is discarded, the first communication unit 43 specifies the touch coordinates and acquires the vibration pattern from the application 52 (S111). By doing this, the device can vibrate in a vibration pattern that corresponds to the touch coordinates, even if there is a delay.

ステップＳ１１０の判断がＹｅｓの場合、又は、ステップＳ１１１で振動パターンを受信すると、振動制御部４６は振動パターンでアクチュエータ２４を駆動させる（Ｓ１１２）。 If the determination in step S110 is Yes, or if the vibration pattern is received in step S111, the vibration control unit 46 drives the actuator 24 with the vibration pattern (S112).

このように、近接座標とタッチ座標の差や、近接からの経過時間で、振動パターンの信頼性を評価することで、タッチ座標に対応した振動パターンで振動できる。 In this way, by evaluating the reliability of the vibration pattern based on the difference between the proximity coordinate and the touch coordinate and the elapsed time since the proximity, it is possible to vibrate with a vibration pattern that corresponds to the touch coordinate.

＜閾値Ａの調整について＞
閾値Ａを小さくすると、近接座標とタッチ座標のずれが小さくなるので先読みの精度が向上するが、近接検出からタッチ検出までの時間差が短くなり、先読み効果は弱くなる。そこで、実機の操作感でチューニングすることが好ましい。 <About adjusting threshold A>
If the threshold value A is made smaller, the deviation between the proximity coordinate and the touch coordinate becomes smaller, so the accuracy of look-ahead improves, but the time difference from proximity detection to touch detection becomes shorter, and the look-ahead effect becomes weaker. Therefore, it is preferable to tune using the operating feel of the actual machine.

図１４は、ディスプレイが表示する閾値Ａの調整画面２３０の一例である。調整画面２３０は距離に関する閾値の設定を受け付ける。調整画面２３０は「振動パターンを取得する距離を入力して下さい」というメッセージ２３１、及び、スライダ２３２を有している。スライダ２３２の左端は閾値Ａが最小であること、すなわち、指先９が遠方にある段階で近接座標を検出することを意味する。スライダ２３２の右端は閾値Ａが最大であること、すなわち、指先９がタッチした段階で近接座標を検出することを意味する。ユーザはスライダ２３２を左右に移動させ、実際にタッチパネル２２を操作する。振動の応答性などを確かめて、再度、スライダ２３２の位置を調整できる。 FIG. 14 is an example of a threshold value A adjustment screen 230 displayed on the display. Adjustment screen 230 accepts threshold settings regarding distance. The adjustment screen 230 includes a message 231 that says "Please enter the distance to obtain the vibration pattern" and a slider 232. The left end of the slider 232 means that the threshold value A is the minimum, that is, the proximity coordinates are detected when the fingertip 9 is far away. The right end of the slider 232 means that the threshold value A is the maximum, that is, the proximity coordinate is detected at the stage when the fingertip 9 touches it. The user moves the slider 232 left and right to actually operate the touch panel 22. After checking the vibration response, etc., the position of the slider 232 can be adjusted again.

なお、調整画面２３０はディスプレイ装置１０が本体装置５０と通信しないで表示してもよいし、本体装置５０が表示してもよい。ユーザが設定した閾値Ａは、判断部４２が保持しておく。 Note that the adjustment screen 230 may be displayed by the display device 10 without communicating with the main device 50, or may be displayed by the main device 50. The determination unit 42 holds the threshold value A set by the user.

＜主な効果＞
以上説明したように、本実施形態の情報処理システム１００は、タッチパネルが検出する近接座標を利用して、ディスプレイ装置１０が振動パターンを先読みすることで、ユーザがタッチしてからタッチ座標に応じた振動パターンで振動するまでの遅延を抑制できる。 <Main effects>
As described above, the information processing system 100 of the present embodiment uses the proximity coordinates detected by the touch panel to allow the display device 10 to read the vibration pattern in advance, so that the information processing system 100 can detect vibration patterns according to the touch coordinates after the user touches the display device 10. It is possible to suppress the delay until the vibration pattern vibrates.

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 <Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is not limited to these examples in any way, and various modifications can be made without departing from the gist of the present invention. and substitutions can be added.

例えば、情報処理システム１００は車両に搭載されるだけではなく、バイク、自転車又は船など移動体に搭載されてよい。 For example, the information processing system 100 may be installed not only in a vehicle but also in a moving body such as a motorcycle, a bicycle, or a boat.

また、本実施形態では、ディスプレイ装置１０と本体装置５０が別々の装置で通信する例を説明したが、ディスプレイ装置１０と本体装置５０が一体の１つの装置であっても、装置内の処理として本実施形態を適用できる。 Furthermore, in this embodiment, an example has been described in which the display device 10 and the main body device 50 communicate with each other as separate devices, but even if the display device 10 and the main body device 50 are one integrated device, the processing within the device This embodiment can be applied.

また、図９などの構成例は、情報処理システム１００の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、情報処理システム１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。 Further, in the configuration example shown in FIG. 9 and the like, the information processing system 100 is divided according to main functions in order to facilitate understanding of the processing. The present invention is not limited by the method of dividing the processing units or the names thereof. Furthermore, the processing of the information processing system 100 can be divided into more processing units depending on the processing content. Furthermore, one processing unit can be divided to include more processing.

１０ディスプレイ装置
２０ディスプレイユニット
３１表示コントローラ
３２タッチパネルコントローラ
３３振動応答コントローラ
５０本体装置
５１オペレーティングシステム
５２アプリケーション
１００情報処理システム 10 Display device 20 Display unit 31 Display controller 32 Touch panel controller 33 Vibration response controller 50 Main device 51 Operating system 52 Application 100 Information processing system

Claims

A display device that communicates with a main device that generates a screen to be displayed on a display,
a coordinate detection unit that detects proximity coordinates when the input means approaches the display;
a communication unit that receives a vibration pattern corresponding to the proximity coordinate from the main device;
a vibration control unit that vibrates the display with the vibration pattern when the input means further approaches the display;
A display device comprising:

The display device according to claim 1, wherein the vibration control unit vibrates the display using the vibration pattern when the input means touches the display.

3. The communication unit discards the vibration pattern received from the main device if there is a difference between the proximity coordinate and the touch coordinate touched by the input means on the display by a predetermined difference or more. display device.

If a certain period of time has elapsed from when the coordinate detection section detects the proximity coordinates until the input means touches the display , the vibration control section controls the display using the vibration pattern received by the communication section. The display device according to claim 3, characterized in that the display device does not vibrate .

If the vibration pattern is discarded, the communication unit receives a vibration pattern corresponding to the touch coordinates from the main device;
The display device according to claim 3 , wherein the vibration control unit vibrates the display using the vibration pattern corresponding to the touch coordinates.

6. An adjustment screen is displayed for accepting the setting of a threshold value regarding a distance between the display and the input means, which is used to determine that the coordinate detection unit has detected the proximal coordinates. The display device according to any one of the items.

An information processing system comprising a main unit that generates a screen to be displayed on a display, and a display device that outputs an image to the display,
The display device includes:
a coordinate detection unit that detects proximity coordinates when the input means approaches the display;
a communication unit that receives a vibration pattern corresponding to the proximity coordinate from the main device;
a vibration control unit that vibrates the display with the vibration pattern when the input means further approaches the display;
The main body device is
An information processing system characterized in that the vibration pattern corresponding to the proximity coordinate is transmitted to the display device.

A vibration method performed by a display device that communicates with a main device that generates a screen to be displayed on a display,
detecting proximity coordinates when the input means approaches the display;
receiving a vibration pattern corresponding to the proximity coordinates from the main device;
vibrating the display with the vibration pattern when the input means is closer to the display;
A vibration method characterized by having the following.