WO2021260876A1 - ハプティクスデバイス - Google Patents

ハプティクスデバイス Download PDF

Info

Publication number
WO2021260876A1
WO2021260876A1 PCT/JP2020/024979 JP2020024979W WO2021260876A1 WO 2021260876 A1 WO2021260876 A1 WO 2021260876A1 JP 2020024979 W JP2020024979 W JP 2020024979W WO 2021260876 A1 WO2021260876 A1 WO 2021260876A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptics
haptic
presentation
control device
rise time
Prior art date
Application number
PCT/JP2020/024979
Other languages
English (en)
French (fr)
Inventor
敏輝 和田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/024979 priority Critical patent/WO2021260876A1/ja
Publication of WO2021260876A1 publication Critical patent/WO2021260876A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a haptics device that presents haptics such as force, vibration, and movement to a user.
  • Haptics is a technology that obtains skin sensory feedback by giving force, vibration, movement, etc. to the user. Since a haptics device that presents haptics to a user has a different configuration of a haptics presentation unit suitable for the presented haptics, a form having a plurality of haptics presentation units has been proposed (for example, Non-Patent Document 1). reference).
  • FIG. 8 is a configuration example of a haptics device having two different haptic presentation units.
  • the haptics device 1 of FIG. 8 two haptic presentation units that present haptics to the user are connected to the control device 10 that drives and controls the haptics presentation unit.
  • the control device 10 that drives and controls the haptics presentation unit.
  • one haptics presentation unit 20 presents a vibration stimulus
  • the other haptics presentation unit 30 presents an electrical stimulus.
  • vibration stimulation requires physical displacement, so the rise time is long.
  • the electrical stimulation has a feature that the rising time is shorter than that of the vibration stimulation. As shown in FIG. 9, when the rise time from the reception of the drive signal to the peak value of the vibration stimulus haptics presentation output is t1 and the rise time in the electrical stimulus haptics is t2, t1> t2. be.
  • the two haptic presentation units 20 and 30 receive the drive signal from the control device 10 at the same time, the haptics are presented due to the timing difference (t1> t2) in the two haptic presentation units 20 and 30.
  • the presentation unit 30 first presents the haptics of the electrical stimulation to the user, and after t1-t2, the haptics presentation unit 20 presents the haptics of the vibration stimulation to the user. Therefore, even though the drive signal is received at the same time, there is a problem that a timing difference (t1-t2) occurs before the haptics are presented, and as a result, a haptics mismatch occurs in the user.
  • the present invention has been made to solve the above problems, and an object of the present invention is to reduce a mismatch of haptics in a user by reducing the timing difference until the haptics are presented in different haptic presentation units. ..
  • the haptics device of the present invention includes a plurality of haptic presentation units that present haptics to the user, and a control device that drives and controls the plurality of haptics presentation units.
  • the haptic presentation unit is driven and controlled so as to reduce the timing difference in presenting the haptics in the plurality of haptic presentation units.
  • the haptics device of the present invention includes at least one haptics presentation unit that presents haptics to the user, and a control device that controls the drive of the at least one haptics presentation unit, and the control device is a content.
  • the drive start timing of the haptics presentation unit is controlled in response to the haptics presentation timing predicted by learning the haptics pattern.
  • the present invention it is possible to reduce the mismatch of haptics in the user by reducing the timing difference until the haptics are presented in different haptic presentation units.
  • FIG. 1 is a configuration example of a haptics device according to the first embodiment of the present invention.
  • FIG. 2 is an example of a haptics presentation operation in the haptics device according to the first embodiment of the present invention.
  • FIG. 3 is an example of a haptics presentation operation in the haptics device according to the second embodiment of the present invention.
  • FIG. 4 is a configuration example of the haptics device according to the third embodiment of the present invention.
  • FIG. 5 is an example of a haptics presentation operation in the haptics device according to the third embodiment of the present invention.
  • FIG. 6 is an example of a flowchart of a haptics presentation operation in the haptics device according to the third embodiment of the present invention.
  • FIG. 1 is a configuration example of a haptics device according to the first embodiment of the present invention.
  • FIG. 2 is an example of a haptics presentation operation in the haptics device according to the first embodiment of the present invention.
  • FIG. 3 is an example of
  • FIG. 7 is an example of a computer constituting the haptics device according to the embodiment of the present invention.
  • FIG. 8 is a configuration example of a conventional haptics device.
  • FIG. 9 is an example of a haptics presentation operation in a conventional haptics device.
  • FIG. 1 is a configuration example of a haptics device according to the first embodiment of the present invention.
  • the haptics device 1 is composed of two different haptics presentation units 20 and 30 and a control device 10 for driving and controlling them.
  • a case where two haptics presentation units are provided one haptics presentation unit 20 presents a vibration stimulus and the other haptics presentation unit 30 presents an electrical stimulus will be described.
  • the number and types of haptic presentations are not limited to them.
  • haptics presentation units may be provided, or haptics other than vibration stimulation and electrical stimulation, for example, mechanical stimulation, hot / cold stimulation, air stimulation, ultrasonic stimulation, and the like may be used.
  • haptics other than vibration stimulation and electrical stimulation, for example, mechanical stimulation, hot / cold stimulation, air stimulation, ultrasonic stimulation, and the like may be used.
  • haptics for example, a vibration stimulus and a different actuator for the vibration stimulus are used and the rise time is different, it is included in the scope of the present invention.
  • the configuration of the haptics presentation unit is also appropriately selected according to the type of haptics to be presented.
  • vibration stimulation haptics it is composed of a vibration actuator or the like provided with a vibration element
  • electrical stimulation haptics it is composed of an electrode pad or the like provided with an electrode.
  • vibration stimulation requires physical displacement, so the rise time is long.
  • the electrical stimulation has a feature that the rising time is shorter than that of the vibration stimulation.
  • t1 when the rise time from the reception of the drive signal to the peak value of the vibration stimulus haptics presentation output is t1 and the rise time in the electrical stimulus haptics is t2, t1>. It is t2.
  • the haptic presentation unit 30 comes first due to the timing difference (t1> t2) in which the two haptic presentation units 20 and 30 present the haptics.
  • the haptics of the electrical stimulation are presented to the user, and after that (t1-t2), the haptics presentation unit 20 presents the haptics of the vibration stimulation to the user. Therefore, even though the drive signal is received at the same time, a timing difference of (t1-t2) occurs before the haptics are presented.
  • the control device 10 controls the drive start timing of the haptic presentation unit so as to reduce the timing difference until the haptics are presented in the two haptic presentation units 20 and 30.
  • the vibration stimulus haptics presentation unit delays the drive start timing of the electrical stimulation haptics presentation unit by a time (t1-t2) from t2.
  • the haptics presentation unit can be driven and controlled in the same manner so as to reduce the timing difference in presenting the haptics.
  • the number of haptic presentation units is three
  • three haptic presentations are presented by delaying the drive start time of the other two haptic presentation units in accordance with the timing of the haptic presentation of the haptics presentation unit having the longest rise time. It is possible to reduce the timing difference of haptic presentation in the department.
  • the control device 10 grasps the rise time of each haptics presentation unit in advance in order to realize the above-mentioned drive. This rise time is not constant and varies depending on each parameter such as the strength of the presented haptics, the power supply voltage, and the frequency. By grasping the rise time at each of the strengths that can be presented, the control device 10 can control the timing of haptic presentation in the plurality of haptic presentation units.
  • haptics presentation units it is not always necessary to control the timing of all haptics presentations of the plurality of haptics presentation units, and it is sufficient to control the drive start time of at least one haptics presentation unit of the plurality of haptics presentation units.
  • Which haptic presentation means of the plurality of haptics presentation units is to be controlled for driving start time may be appropriately set according to the parameters of each haptics presentation unit.
  • the time from the reception of the drive signal to the peak value of the haptic presentation is described as the rise time, but the time until the haptic presentation reaches the peak value is not necessarily used. good.
  • the rise time from receiving the drive signal to presenting the haptics may be appropriately set for each haptics presenting unit according to the type and parameters of the haptics. For example, in the case of a haptic having a long rise time such as a vibration stimulus or a mechanical stimulus, the rise time can be set to a timing before the peak value of the haptics presentation output.
  • the mismatch of haptics in the user can be reduced by reducing the timing difference until the haptics are presented in the plurality of haptic presentation units.
  • FIG. 3 is an example of a haptics presentation operation in the haptics device according to the second embodiment of the present invention.
  • the control device 10 has an electrical stimulation haptics presentation unit 30 having a rise time t2 shorter than the average value (t1 + t2) / 2 of the rise time of the two haptic presentation units.
  • the drive start of the haptics presenting unit 30 is delayed by the time (t1-t2) / 2 so that the haptics are presented at t1 + t2) / 2.
  • FIG. 4 is a configuration example of the haptics device according to the third embodiment of the present invention.
  • the next haptics by machine learning is predicted in advance, and the rise time is effectively shortened, thereby reducing the timing difference until the haptics of different haptics presentation units are presented.
  • the control device 10 in FIG. 4 is configured so that the learning results of other users can be used by accessing the server 50 through an information terminal 40 such as a smartphone.
  • the control device 10 learns the relationship between the haptics pattern and various information related to the haptics, such as sound, video, and data that senses the movement of the user. So, predict the haptics that will occur next.
  • the control device 10 by reflecting the learning results of other users stored in the server 50, it is possible to increase the number of content samples and improve the accuracy of prediction by learning.
  • FIG. 5 is an example of a haptics presentation operation in the haptics device according to the third embodiment of the present invention. Also in FIG. 5, similarly to FIGS. 2 and 3, the rise time from the reception of the drive signal in the vibration stimulus to the peak value of the haptic presentation output is set to t1, and the rise time in the electrical stimulus is set to t2.
  • the control device 10 predicts the haptics of the next vibration stimulus in advance by machine learning, and the effective rise of the haptics of the vibration stimulus corresponds to the timing of the haptics presentation predicted by the machine learning. It is configured to save time.
  • FIG. 6 is an example of a flowchart of a haptics presentation operation in the haptics device according to the third embodiment of the present invention.
  • the effective rise time is shortened by emitting the drive signal before the conventional drive signal emission timing by the prediction using machine learning.
  • the drive signal is actually generated (S1-3: YES)
  • the drive of the haptics presenting unit is continued (S1-4).
  • the drive of the haptics presentation unit is stopped (S1-5).
  • the result of such a drive motion is further machine-learned and reflected in the subsequent prediction of the drive motion.
  • Drive control based on prediction by machine learning is important in the case of using a haptics device in which interlocking with contents is important so that the user does not feel the delay time.
  • haptics device In machine learning, a large amount of content is poured into a haptics device, and the relationship between the haptics pattern and various information related to the haptics, such as sound and video, and data that senses user movements, is understood. There is a need. Since the accuracy increases as the number of samples increases, the learning accuracy can be improved by accessing the server through the device itself or an information terminal such as a smartphone and reflecting the learning results of other users. By advancing machine learning so that the rise time between different haptic presentation units is reduced, it is possible to shorten the timing difference of haptic presentation between different haptic presentation units and provide optimum drive control with less mismatch in the user.
  • the user will feel uncomfortable and the experience value will decrease.
  • the presentation of haptics is delayed even when the haptics are linked with video or audio, the meaning of the haptics deviates from the original meaning and the user feels that the experience value is lowered. Therefore, even for the above-mentioned haptics of electrical stimulation with a short rise time, it may be felt that the rise time is long from the viewpoint of interlocking with the content. Therefore, by shortening the effective rise time of electrical stimulation in response to the timing of haptic presentation predicted by machine learning, it is also possible to reduce the deterioration of experience value due to the rise time of haptics. can.
  • FIG. 7 is an example of a computer constituting the haptics device according to the embodiment of the present invention.
  • the control device 10 includes, for example, a computer including a processor 11, a main storage device 12, a communication I / F13, and an input / output I / O14 connected via a bus 15, and their hardware resources. It can be realized by a program that controls.
  • the haptics presentation unit is connected via the input / output I / O 14.
  • the processor 11 and the main storage device 12 can perform drive control of the haptics presentation units 20 and 30, parameter setting, and learning of content haptic patterns.
  • the communication I / F 13 is an interface circuit for communicating with an external information terminal 40.
  • the control device 10 can reflect the learning result of another user through the communication I / F13.
  • the main storage device 12 is realized by, for example, a semiconductor memory such as a SRAM, a DRAM, and a ROM.
  • the main storage device 12 stores in advance a program for the processor 11 to perform drive control and learning.
  • the drive start timing is controlled so that the haptics are presented at the average value of the rise time, and in the other haptics presentation units, an effective rise using prediction by machine learning is used. It is also possible to control the reduction of time.
  • the control of FIG. 5 is applied to the presentation of the haptics of the vibration stimulus so that the presentation of the haptics of the electrical stimulus is started at the average value of the rise time (t1 + t2) / 2.
  • (t1-tx) can be configured to start the presentation of the haptics of the vibration stimulus.
  • Haptics device 10 ... Control device, 11 ... Processor, 12 ... Main storage device, 13 ... Communication I / F, 14 ... Input / output I / F, 15 ... Bus, 20, 30 ... Haptics presentation unit, 40 ... Information terminal, 50 ... server.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明のハプティクスデバイス（１）は、利用者にハプティクス提示をする複数のハプティクス提示部（２０、３０）と、複数のハプティクス提示部を駆動制御する制御装置（１０）とを備え、制御装置（１０）は、複数のハプティクス提示部（２０、３０）におけるハプティクス提示をするタイミング差を低減するように、ハプティクス提示部（２０、３０）を駆動制御する。利用者における複数のハプティクスのミスマッチを低減することができる。

Description

ハプティクスデバイス
　本発明は、利用者に力、振動、動き等のハプティクスを提示するハプティクスデバイスに関する。
　ハプティクスは、利用者に力、振動、動きなどを与えることで皮膚感覚フィードバックを得るテクノロジーである。利用者にハプティクスを提示するハプティクスデバイスは、提示するハプティクスによってそれに適するハプティクス提示部の構成が異なるため、複数のハプティクス提示部を具備するような形態が提案されている（例えば、非特許文献１参照）。
　図８は、２つの異なるハプティクス提示部を有するハプティクスデバイスの構成例である。図８のハプティクスデバイス１では、ハプティクス提示部を駆動制御する制御装置１０に、利用者にハプティクス提示をする２つのハプティクス提示部が接続されている。２つのハプティクス提示部のうち、１つのハプティクス提示部２０が振動刺激を提示するものであり、もう１つのハプティクス提示部３０が電気刺激を提示するものである。
M.Miyakami, K.A.Murata, H.Kajimoto, "Hapballoon:Wearable Haptic Balloon-Based Feedback Device", SIGGRAPH Asia 2019, Emerging Technologies, November.17-20, 2019
　一般に、振動刺激は物理的変位が必要となるため、立ち上がり時間が長い。一方、電気刺激は、振動刺激と比較して立ち上がり時間が短いという特徴を有する。図９に示すように、駆動信号を受信してから振動刺激のハプティクス提示出力がピーク値となるまでの立ち上がり時間をｔ１とし、電気刺激のハプティクスにおける立ち上がり時間をｔ２とした場合、ｔ１＞ｔ２である。
　この場合、２つのハプティクス提示部２０、３０が同時に、制御装置１０からの駆動信号を受信した場合は、２つのハプティクス提示部２０、３０におけるハプティクス提示をするタイミング差（ｔ１＞ｔ２）により、ハプティクス提示部３０が先に利用者に電気刺激のハプティクスを提示し、そのｔ１－ｔ２後にハプティクス提示部２０が利用者に振動刺激のハプティクスを提示することになる。そのため、同時に駆動信号を受信したにもかかわらず、ハプティクスを提示するまでに（ｔ１－ｔ２）のタイミング差が生じて、その結果、利用者におけるハプティクスのミスマッチが発生するという問題がある。
　本発明は、上記課題を解決するためになされたものであり、異なるハプティクス提示部におけるハプティクスを提示するまでのタイミング差を低減することで、利用者におけるハプティクスのミスマッチを低減することを目的とする。
　上記課題を解決するために、本発明のハプティクスデバイスは、利用者にハプティクス提示をする複数のハプティクス提示部と、前記複数のハプティクス提示部を駆動制御する制御装置とを備え、前記制御装置は、前記複数のハプティクス提示部におけるハプティクス提示をするタイミング差を低減するように、前記ハプティクス提示部を駆動制御する。
　また、本発明のハプティクスデバイスは、利用者にハプティクス提示をする少なくとも１つのハプティクス提示部と、前記少なくとも１つのハプティクス提示部の駆動を制御する制御装置とを備え、前記制御装置は、コンテンツのハプティクスパターンを学習することにより予測されたハプティクス提示のタイミングに対応して、前記ハプティクス提示部の駆動開始タイミングを制御する。
　本発明によれば、異なるハプティクス提示部におけるハプティクスを提示するまでのタイミング差を低減することで、利用者におけるハプティクスのミスマッチを低減することが可能となる。
図１は、本発明の第１の実施の形態に係るハプティクスデバイスの構成例である。 図２は、本発明の第１の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作の一例である。 図３は、本発明の第２の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作の一例である。 図４は、本発明の第３の実施の形態に係るハプティクスデバイスの構成例である。 図５は、本発明の第３の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作の一例である。 図６は、本発明の第３の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作のフローチャートの一例である。 図７は、本発明の実施の形態に係るハプティクスデバイスを構成するコンピュータの一例である。 図８は、従来のハプティクスデバイスの構成例である。 図９は、従来のハプティクスデバイスにおけるハプティクス提示動作の一例である。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。本発明は、以下の実施の形態に限定されるものではない。
＜第１の実施の形態＞
　図１は、本発明の第１の実施の形態に係るハプティクスデバイスの構成例である。ハプティクスデバイス１は、２つの異なるハプティクス提示部２０、３０とそれらを駆動制御する制御装置１０から構成される。ここでは、図８と同様に、２つのハプティクス提示部を有し、１つのハプティクス提示部２０が振動刺激を提示し、もう１つのハプティクス提示部３０が電気刺激を提示する場合を説明するが、ハプティクス提示部の数や種類は、それらに限定されるわけではない。
　例えば、ハプティクス提示部を３つ以上備えてもよいし、振動刺激、電気刺激以外のハプティクス、例えば、機械刺激、温冷刺激、空気刺激、超音波刺激等を用いてもよい。また、同じ種類のハプティクス、例えば、振動刺激と振動刺激であっても異なるアクチュエータなどを使用し、立ち上がり時間が異なる場合は、本発明のスコープに含まれる。
　ハプティクス提示部の構成についても、提示するハプティクスの種類に応じて適宜選択される。例えば、振動刺激のハプティクスであれば、振動素子を備えた振動アクチュエータ等で構成され、電気刺激のハプティクスであれば、電極を備えた電極パッド等により構成される。
　一般に、振動刺激は物理的変位が必要となるため、立ち上がり時間が長い。一方、電気刺激は、振動刺激に比べて立ち上がり時間が短いという特徴を有する。ここで、図９と同様に、駆動信号を受信してから振動刺激のハプティクス提示出力がピーク値となるまでの立ち上がり時間をｔ１とし、電気刺激のハプティクスにおける立ち上がり時間をｔ２とした場合、ｔ１＞ｔ２である。
　この場合、各２つのハプティクス提示部２０、３０が同時に駆動信号を受信した場合は、２つのハプティクス提示部２０、３０におけるハプティクス提示をするタイミング差（ｔ１＞ｔ２）により、ハプティクス提示部３０が先に利用者に電気刺激のハプティクスを提示し、その（ｔ１－ｔ２）後にハプティクス提示部２０が利用者に振動刺激のハプティクスを提示することになる。そのため、同時に駆動信号を受信したにもかかわらず、ハプティクスを提示するまでに（ｔ１－ｔ２）のタイミング差が生じてしまう。
　そこで、本実施の形態では、制御装置１０が、２つのハプティクス提示部２０、３０におけるハプティクスを提示するまでのタイミング差を低減するように、ハプティクス提示部の駆動開始タイミングを制御する。図２の例では、振動刺激のハプティクス提示部は、電気刺激のハプティクス提示部の駆動開始タイミングをｔ２から時間（ｔ１－ｔ２）だけ遅延させる。これにより、振動刺激のハプティクス提示部は、ｔ＝０から立ち上がり時間ｔ１で駆動され、電気刺激のハプティクス提示部も、ｔ＝０から同じ立ち上がり時間ｔ１で駆動され、２つのハプティクス提示部２０、３０におけるハプティクスを提示するまでのタイミング差を低減することができる。
　ハプティクス提示部の数が３つ以上の場合においても、同様にして、ハプティクス提示をするタイミング差を低減するように、ハプティクス提示部を駆動制御することができる。例えば、ハプティクス提示部の数が３つの場合、最も長い立ち上がり時間のハプティクス提示部のハプティクス提示のタイミングに合わせて、他の２つのハプティクス提示部の駆動開始時間を遅延させることで、３つのハプティクス提示部におけるハプティクス提示のタイミング差を低減することができる。
　制御装置１０は、上記のような駆動を実現するために、予め、各ハプティクス提示部の立ち上がり時間を把握している。この立ち上がり時間は一定ではなく、提示するハプティクスの強度や電源電圧、周波数などの各パラメータによって異なる。制御装置１０は、提示可能な各強度等における立ち上がり時間を把握しておくことで、複数のハプティクス提示部におけるハプティクス提示のタイミングを制御することが可能となる。
　ここで、必ずしも複数のハプティクス提示部の全てのハプティクス提示のタイミングを制御する必要はなく、複数のハプティクス提示部の少なくとも１つのハプティクス提示部の駆動開始時間を制御すればよい。複数のハプティクス提示部のどのハプティクス提示手段の駆動開始時間を制御するかは、各ハプティクス提示部のパラメータに応じて適宜設定すればよい。
　また、上述した実施の形態では、駆動信号を受信してからハプティクス提示がピーク値となるまでの時間を立ち上がり時間として説明したが、必ずしもハプティクス提示がピーク値となるまでの時間を用いなくてもよい。駆動信号を受信してからハプティクス提示するまでの立ち上がり時間については、ハプティクスの種類やパラメータに応じて、ハプティクス提示部毎に適宜設定すればよい。例えば、振動刺激や機械刺激等の立ち上がり時間の長いハプティクスの場合は、立ち上がり時間をハプティクス提示出力のピーク値の手前のタイミングに設定することもできる。
　このように、第１の実施の形態によれば、複数のハプティクス提示部におけるハプティクスを提示するまでのタイミング差を低減することで、利用者におけるハプティクスのミスマッチを低減することができる。
＜第２の実施の形態＞
　第１の実施の形態では、立ち上がり時間の長いハプティクス提示に対応して、立ち上がり時間の短いハプティクス提示の駆動開始を制御する場合を説明した。第２の実施の形態では、複数のハプティクス提示部の立ち上がり時間の平均値に対応して、ハプティクス提示部の駆動開始タイミングを制御する。図３は、本発明の第２の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作の一例である。
　図３の例では、制御装置１０が、２つのハプティクス提示部の立ち上がり時間の平均値（ｔ１＋ｔ２）／２よりも短い立ち上がり時間ｔ２を有する電気刺激のハプティクス提示部３０が、立ち上がり時間の平均値（ｔ１＋ｔ２）／２においてハプティクス提示をするように、ハプティクス提示部３０の駆動開始を時間（ｔ１－ｔ２）／２ だけ遅延させる。
　第１の実施の形態のように、立ち上がり時間の長いハプティクス提示タイミングに対応して、立ち上がり時間の短いハプティクスの駆動開始タイミングを制御する場合、複数のハプティクスの提示タイミングを合わせるという点においては有効である。しかしながら、複数のハプティクス提示部における立ち上がり時間の差が大きい場合には、立ち上がり時間の短いハプティクスの提示タイミングの遅延時間が長くなり、コンテンツの映像や音声との連動性を損なうようなことも考えられる。第２の実施の形態のような制御により、複数のハプティクスのタイミング差の低減と、コンテンツの映像や音声との連動性を両立するようにハプティクス提示部を駆動制御することが可能となる。
＜第３の実施の形態＞
　図４は、本発明の第３の実施の形態に係るハプティクスデバイスの構成例である。第３の実施の形態では、機械学習による予め次のハプティクスを予測して、立ち上がり時間を実効的に短縮することで、異なるハプティクス提示部のハプティクスを提示するまでのタイミング差を低減する。図４における制御装置１０では、スマートフォンなどの情報端末４０を通じてサーバ５０にアクセスすることにより、他の利用者の学習結果を利用することができるように構成されている。
　制御装置１０は、多数のコンテンツを流し込むことにより、そのハプティクスパターンや、ハプティクスに紐づく様々な情報、例えば、音や映像、利用者の動きをセンシングしたデータなどとの関連性を学習することで、次に発生するハプティクスを予測する。ここで、サーバ５０に蓄積されている他の利用者の学習結果を反映させることで、コンテンツのサンプル数を増やして学習による予測の精度を高めることができる。
　図５は、本発明の第３の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作の一例である。図５においても、図２、３と同様に、振動刺激における駆動信号を受信してからハプティクス提示出力のピーク値までの立ち上がり時間をｔ１とし、電気刺激における立ち上がり時間をｔ２としている。
　第３の実施の形態は、制御装置１０が、機械学習により予め次の振動刺激のハプティクスを予測し、機械学習により予測したハプティクス提示のタイミングに対応して、振動刺激のハプティクスの実効的な立ち上がり時間を短縮するように構成されている。図５の例では、振動刺激のハプティクス提示部２０は、ｔ＝０から立ち上がり時間（ｔ１－ｔｘ）でハプティクス提示がされるように駆動される。ここで、ｔ＝０は、ハプティクスの予測を行わない場合の駆動信号が出されるタイミングである。
　尚、短縮される時間ｔｘは、ｔ１－ｔｘ ＝ ｔ２を満たすように決定しても良いし、各ハプティクス提示部における立ち上がり時間の特性の違いを考慮して、ｔｘを、ｔ１－ｔｘ ≧ ｔ２を満たすように決定してもよい。
　図６は、本発明の第３の実施の形態に係るハプティクスデバイスにおけるハプティクス提示動作のフローチャートの一例である。同じハプティクス提示部を用いる場合は、駆動してからピーク値に到達するまでの時間を短縮することは難しい。そのため、本実施の形態では、機械学習を用いた予測により、従来の駆動信号の発出タイミングよりも先に駆動信号を発出することで、実効的な立ち上がり時間を短縮するように構成されている。
　立ち上がり時間が長い振動刺激のハプティクス提示部が、ｔ＝－ｔｘで駆動を開始し（Ｓ１－１）、ｔ＝０で駆動信号が発生するかを観測する（Ｓ１－２）。駆動信号が実際に発生した場合は（Ｓ１－３：ＹＥＳ）、ハプティクス提示部の駆動は継続される（Ｓ１－４）。一方、駆動信号が実施に発生しなかった場合は（Ｓ１－３：ＮＯ）、ハプティクス提示部の駆動が中止される（Ｓ１－５）。このような駆動動作の結果は、さらに機械学習されて、その後の駆動動作の予測に反映される。機械学習による予測に基づく駆動制御は、コンテンツ等との連動性が重要視されるハプティクスデバイスの利用のケースでは、利用者に遅延時間を感じさせないために重要である。
　スマートフォンなどの情報端末４０からコンテンツを受信する場合、一度受信したコンテンツの内容を理解した後においては同じコンテンツであれば、コンテンツの再生には機械学習の必要は無く、実効的な立ち上がり時間の短縮が可能となる。様々なコンテンツを受信することで理解できるハプティクスのパターンを増やすことができる。
　一方で、再現性が無いインタラクティブなコンテンツの場合は、ハプティクスパターンの機械学習が必要となる。機械学習が進むことで、初めてのコンテンツ再生時にも、機械学習によりハプティクスの提示タイミングを予測して、立ち上がり時間を実効的に短縮することが可能となる。
　機械学習では、多数のコンテンツをハプティクスデバイスに流し込み、そのハプティクスパターンや、ハプティクスに紐づく様々な情報、例えば、音や映像、利用者の動きをセンシングしたデータなどとの関連性を理解する必要がある。これはサンプル数が多いほど精度が上がるため、デバイスそのものやスマートフォンなどの情報端末を通じて、サーバにアクセスし、他の利用者の学習した結果を反映させることで学習精度を向上させることができる。異なるハプティクス提示部間の立ち上がり時間が低減されるように機械学習を進めることで、異なるハプティクス提示部間のハプティクス提示のタイミング差を短縮し、利用者におけるミスマッチの少ない最適な駆動制御を提供できる。
＜第４の実施の形態＞
　第３の実施の形態では、機械学習による予測を用いて実効的な立ち上がり時間を短縮する技術を２つのハプティクス提示部の駆動制御に適用した場合を説明した。この機械学習による予測を用いて実効的な立ち上がり時間を短縮する技術は、２つの以上のハプティクス提示部を具備する場合に限らず有効である。
　例えば、映像と音声で音声の遅延が発生しリップシンクが保たれないと利用者は違和感を覚え、体験価値が下がる。これと同様に、ハプティクスを映像や音声と連動させる場合においてもハプティクスの提示が遅延すると、ハプティクスの意味が本来とはズレて利用者に感じられ体験価値を下げてしまうことになる。そのため、上述した立ち上がり時間が短い電気刺激のハプティクスについても、コンテンツとの連動という観点では、立ち上がり時間が長いと感じられる場合もある。そこで、機械学習により予測したハプティクス提示のタイミングに対応して、電気刺激の実効的な立ち上がり時間を短縮することで、ハプティクスの立ち上がり時間に起因する体験価値の劣化を低減するように構成することもできる。
　＜制御装置のハードウェア構成＞
　上述した機能を有する制御装置１０のハードウェア構成の一例について説明する。図７は、本発明の実施の形態に係るハプティクスデバイスを構成するコンピュータの一例である。
　図７に示すように、制御装置１０は、例えば、バス１５を介して接続されるプロセッサ１１、主記憶装置１２、通信Ｉ／Ｆ１３、入出力Ｉ／Ｏ１４を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。ハプティクス提示部が入出力Ｉ／Ｏ１４を介して接続されている。
　プロセッサ１１と主記憶装置１２とによって、ハプティクス提示部２０、３０の駆動制御やパラメータの設定、コンテンツのハプティクスパターンの学習を行うことができる。
　通信Ｉ／Ｆ１３は、外部の情報端末４０との通信を行うためのインターフェース回路である。制御装置１０は、通信Ｉ／Ｆ１３を通じて他の利用者の学習した結果を反映させることができる。
　主記憶装置１２は、例えば、ＳＲＡＭ、ＤＲＡＭ、およびＲＯＭなどの半導体メモリによって実現される。主記憶装置１２には、プロセッサ１１が駆動制御や学習を行うためのプログラムが予め格納されている。
＜他の実施の形態＞
　以上、実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成においては、本発明のスコープ内で当業者が理解しうる様々な変更や組み合わせをすることができる。
　上述した実施の形態における複数のハプティクス提示部の立ち上がり時間の差に基づく駆動開始タイミングの制御と、機械学習による予測を用いた立ち上がり時間の実効的な短縮の制御を組み合わせることも可能である。
　例えば、複数のハプティクス提示部の一つにおいて、立ち上がり時間の平均値においてハプティクス提示をするように、駆動開始タイミングを制御し、他のハプティクス提示部において、機械学習による予測を用いた実効的な立ち上がり時間の短縮の制御を行うことも可能である。
　図３の例では、振動刺激のハプティクスの提示に図５の制御を適用して、電気刺激のハプティクスの提示が、立ち上がり時間の平均値（ｔ１＋ｔ２）／２で開始されるようにして、振動刺激のハプティクスの提示については、（ｔ１－ｔｘ）で振動刺激のハプティクスの提示を開始するように構成することもできる。
　１…ハプティクスデバイス、１０…制御装置、１１…プロセッサ、１２…主記憶装置、１３…通信Ｉ／Ｆ、１４…入出力Ｉ／Ｆ、１５…バス、２０、３０…ハプティクス提示部、４０…情報端末、５０…サーバ。

Claims (6)

  1. 　利用者にハプティクス提示をする複数のハプティクス提示部と、
    　前記複数のハプティクス提示部を駆動制御する制御装置と
    　を備え、
    　前記制御装置は、前記複数のハプティクス提示部におけるハプティクス提示をするタイミング差を低減するように、前記ハプティクス提示部を駆動制御する
    　ハプティクスデバイス。
  2. 　前記制御装置は、
    　前記複数のハプティクス提示部における駆動開始からハプティクス提示までの立ち上がり時間の差に基づいて、少なくとも１つの前記ハプティクス提示部の駆動開始タイミングを制御する
    　請求項１記載のハプティクスデバイス。
  3. 　前記制御装置は、
    　前記複数のハプティクス提示部のうち、最も長い立ち上がり時間を有する前記ハプティクス提示部のハプティクス提示のタイミングに対応して、前記最も長い立ち上がり時間よりも短い立ち上がり時間を有する前記ハプティクス提示部の駆動開始タイミングを制御する
    　請求項２記載のハプティクスデバイス。
  4. 　前記制御装置は、
    　前記複数のハプティクス提示部の前記立ち上がり時間の平均値においてハプティクス提示をするように、前記立ち上がり時間の平均値よりも短い前記立ち上がり時間を有する前記ハプティクス提示部の駆動開始タイミングを制御する
    　請求項２記載のハプティクスデバイス。
  5. 　前記制御装置は、
    　コンテンツのハプティクスパターンを学習することにより予測されたハプティクス提示のタイミングに対応して、少なくとも１つの前記ハプティクス提示部の駆動開始タイミングを制御する
    　請求項１～４の何れか１項に記載のハプティクスデバイス。
  6. 　利用者にハプティクス提示をする少なくとも１つのハプティクス提示部と、
    　前記少なくとも１つのハプティクス提示部の駆動を制御する制御装置と
    　を備え、
    　前記制御装置は、
    　コンテンツのハプティクスパターンを学習することにより予測されたハプティクス提示のタイミングに対応して、前記ハプティクス提示部の駆動開始タイミングを制御する
    　ハプティクスデバイス。
PCT/JP2020/024979 2020-06-25 2020-06-25 ハプティクスデバイス WO2021260876A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024979 WO2021260876A1 (ja) 2020-06-25 2020-06-25 ハプティクスデバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024979 WO2021260876A1 (ja) 2020-06-25 2020-06-25 ハプティクスデバイス

Publications (1)

Publication Number Publication Date
WO2021260876A1 true WO2021260876A1 (ja) 2021-12-30

Family

ID=79282299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024979 WO2021260876A1 (ja) 2020-06-25 2020-06-25 ハプティクスデバイス

Country Status (1)

Country Link
WO (1) WO2021260876A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144629A (ja) * 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144629A (ja) * 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動

Similar Documents

Publication Publication Date Title
CN105282591B (zh) 独立输出流的同步
EP2846330B1 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US20150323994A1 (en) Dynamic haptic effect modification
JP7037567B2 (ja) 振動制御装置、振動制御方法、及びプログラム
JP2019122256A (ja) モータブレーキ信号的生成方法と装置
JP2007097179A (ja) 調整可能なディレイセル及びこれを含むディレイライン
US11579695B2 (en) System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
JP5058361B1 (ja) 電子機器、表示パネル制御装置および表示パネル制御方法
JP2018005917A (ja) クラウド接続ハプティックプラットフォーム
US20130050128A1 (en) Multiple actuator drive control device for generating a sense of touch
WO2019038887A1 (ja) 振動制御装置
US9913033B2 (en) Synchronization of independent output streams
WO2021260876A1 (ja) ハプティクスデバイス
US10789911B2 (en) Phase locked multi-display synchronization
EP2889725A1 (en) Distributed control architecture for haptic devices
WO2021228045A1 (zh) 按键控制方法、装置、键盘和可读存储介质
EP3396523B1 (en) Display system capable of displaying a picture-in-picture image by stacking images
US10551925B2 (en) Method and apparatus for generating tactile sensation
TWI665652B (zh) 源極驅動器及其操作方法
KR20150005299A (ko) 출력 장치 및 출력 장치를 포함하는 출력 시스템
KR20120082292A (ko) 반도체 메모리 장치 및 반도체 메모리 장치의 동작 방법
US20200053494A1 (en) Terminal and method for regulating and controlling vibrator thereof
JP7101889B2 (ja) 振動デバイス、情報処理装置、及び振動制御システム
CN105320400B (zh) 管理电子装置虚拟控制界面的方法及其装置
TWI743638B (zh) 時序產生器、時序產生方法以及控制晶片

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20941888

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20941888

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP