WO2022259301A1 - 触覚デバイスおよび制御方法 - Google Patents

触覚デバイスおよび制御方法 Download PDF

Info

Publication number
WO2022259301A1
WO2022259301A1 PCT/JP2021/021543 JP2021021543W WO2022259301A1 WO 2022259301 A1 WO2022259301 A1 WO 2022259301A1 JP 2021021543 W JP2021021543 W JP 2021021543W WO 2022259301 A1 WO2022259301 A1 WO 2022259301A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
input
human body
intensity
input signal
Prior art date
Application number
PCT/JP2021/021543
Other languages
English (en)
French (fr)
Inventor
敏輝 和田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/021543 priority Critical patent/WO2022259301A1/ja
Publication of WO2022259301A1 publication Critical patent/WO2022259301A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Definitions

  • the present invention relates to a tactile presentation technology that presents a virtual tactile sensation by driving a tactile presentation device.
  • VR virtual reality
  • a virtual reality reproducing apparatus that can realistically reproduce the visual, auditory, and tactile sensations of this virtual reality using images and sounds.
  • HMD head mounted display
  • tactile devices are attracting attention as devices that can reproduce human touch.
  • Haptic devices are configured to present tactile sensations such as force, vibration, temperature, etc. to humans, i.e., virtual tactile feedback, by driving tactile presentation devices such as vibration devices and Peltier devices.
  • haptic devices When presenting virtual tactile sensations, haptic devices differ in optimum tactile sensation presentation device depending on the desired sensation and texture to be presented.
  • tactile presentation devices include vibration stimulation, electrical stimulation, pneumatic stimulation, and tactile force presentation using an exoskeleton. must be mounted.
  • the signal parameters, transmission efficiency, and frequency characteristics are different for each tactile sense presentation device. Therefore, if the tactile device has, for example, a plurality of tactile presentation devices that present pneumatic stimulation and electrical stimulation, it is difficult to present the respective presentation intensities equally to the user. Therefore, when these tactile sense presentation devices are uniformly controlled, there is a problem that a highly realistic virtual tactile sense cannot be presented, and the experience of the user using the haptic devices is spoiled.
  • the present invention is intended to solve such problems, and aims to provide a tactile presentation technology capable of presenting highly realistic virtual tactile sensations even when using a plurality of different tactile presentation devices.
  • a haptic device includes a plurality of haptic presentation devices configured to present haptic sensations according to applied drive signals, and apply it to a corresponding tactile presentation device corresponding to the input signal among the plurality of tactile presentation devices; and a storage circuit, wherein the storage circuit is configured to generate , pre-storing a compensation model for compensating the input/output characteristics of the tactile presentation device corresponding to the input signal and the perceptual characteristics of the human body, and the control circuit generates the drive signal, the Based on the individual model corresponding to the input signal among the compensation models, the drive signal is generated in which the input/output characteristics of the corresponding tactile sense presentation device and the perceptual characteristics of the human body are compensated.
  • a control method includes: a plurality of tactile sense presentation devices configured to present tactile sensations according to applied drive signals; 1.
  • a control method for use in a haptic device comprising: a control circuit configured to apply the input signal to a corresponding corresponding tactile presentation device of the presentation device; pre-storing, for each signal, a compensation model that compensates for input/output characteristics of a tactile presentation device corresponding to the input signal and perceptual characteristics of the human body; generating the drive signal that compensates for the input/output characteristics of the corresponding tactile presentation device and the perceptual characteristics of the human body, based on the individual model corresponding to the input signal among the compensation models stored by the circuit.
  • highly realistic virtual tactile sensations can be presented even when using a plurality of different tactile sensation presentation devices.
  • FIG. 1 is a block diagram showing the configuration of a haptic device.
  • FIG. 2 is a graph showing an example of input/output characteristics (without compensation) of the control circuit.
  • FIG. 3 is a graph showing an example of input/output characteristics of a tactile presentation device.
  • FIG. 4 is a graph showing an example of perceptual characteristics of a detecting organ that the human body has.
  • FIG. 5 is a graph showing an example of overall input/output characteristics including a haptic device and a human body.
  • FIG. 6 is a graph showing the compensation process of input/output characteristics.
  • FIG. 7 is a graph showing another compensation process for input/output characteristics.
  • FIG. 1 is a block diagram showing the configuration of a haptic device.
  • This tactile device 10 is a device that presents cutaneous feedback, ie, virtual tactile sensation, to a person by stimuli such as vibration, electricity, and air pressure, and tactile force sensation by an exoskeleton.
  • the tactile device 10 includes a control circuit 11, a memory circuit 12, and a plurality of tactile presentation devices 13 as main circuit components.
  • the control circuit 11 is composed of a signal processing circuit that processes and outputs an input signal as a whole, and is input from a host device (not shown) such as a PC, a smartphone, a tablet, etc., and individual tactile presentation devices 13x ( 13A, 13B, . . . , 13N) and corresponding input signals Ix (IA, IB, . , to the corresponding tactile presentation device 13x (corresponding tactile presentation device).
  • a host device not shown
  • individual tactile presentation devices 13x 13A, 13B, . . . , 13N
  • Ix input signals
  • the control circuit 11 controls the input/output characteristic Gx of the tactile sense presentation device 13x and the
  • the drive signal Vx is configured to compensate for the perceptual characteristic (perceptual sensitivity characteristic) Qx of the human body HB that perceives the applied tactile sensation (virtual tactile sensation) Sx.
  • the control circuit 11 determines the relationship between the specified intensity ix specified by the input signal Ix and the perceived intensity px with which the human body HB perceives the tactile sensation Sx of the tactile intensity sx presented from the tactile presentation device 13x.
  • Individual models Mx (MA, MB, . Based on this, the drive signal Vx having the signal strength vx that compensates for the input/output characteristic Gx of the tactile sensation presentation device 13x and the perceptual characteristic Qx of the human body HB is generated.
  • the storage circuit 12 is composed of a semiconductor memory, and is configured to store in advance a compensation model 12A that compensates for the input/output characteristics Gx of the tactile sensation presentation device 13x and the perceptual characteristics Qx of the human body HB.
  • the compensation model 12A consists of an individual model Mx provided for each input signal Ix.
  • the individual model Mx includes the haptic device 10 and the human body HB in which the relationship between the specified intensity ix specified by the input signal Ix and the perceived intensity px at which the human body HB perceives the tactile sensation Sx of the tactile intensity sx is defined in advance. This is a model for compensation so as to match the overall input/output characteristics F.
  • This individual model Mx is a tactile presentation device that indicates the input/output characteristics F of the tactile device 10 and the entire human body HB, the relationship between the signal intensity vx of the driving signal Vx and the tactile intensity sx of the tactile sensation Sx presented from the tactile presentation device 13x. 13x, and the inverse characteristic of the perceptual characteristic Qx of the human body HB, which indicates the relationship between the tactile intensity sx and the perceptual intensity px at which the tactile sensation Sx of the tactile intensity sx is perceived by the human body HB, are synthesized. It has the characteristics
  • the individual model Mx may store a function expression indicating the correspondence between the input value and the output value and its parameters. A table showing correspondence between input values and output values may be stored.
  • each tactile sense Sx or tactile sense presentation device 13x with different input signals Ix an example is provided for each tactile sense Sx or tactile sense presentation device 13x with different input signals Ix, and an individual model Mx is stored for each input signal Ix.
  • the same individual model Mx may be associated with different input signals Ix.
  • the same individual model Mx can be associated with these input signals Ix.
  • the tactile sense presentation device 13 is a general element that presents cutaneous feedback, that is, a virtual tactile sense St to a human by stimuli such as vibration, electricity, air pressure, and tactile force sense by an exoskeleton. Specifically, there is a vibrating device such as a vibrating actuator as one of the tactile presentation devices 13 that present a sensation by force or vibration. Further, as one of the tactile sense presentation devices 13 that present sensations based on temperature, there is a Peltier Device made up of a plate-like semiconductor thermoelectric element using the Peltier Effect. Further, as one of the tactile sense presentation devices 13 that present sensations by air pressure, there is a device that presents the air pressure obtained by adjusting the amount of air in the airbag.
  • the tactile sense presentation device 13x presents a tactile sense composed of various stimuli and tactile force senses, so even if the signal strength vx of the input drive signal Vx is equal, it is converted into a tactile sense Sx depending on the type of tactile sense to be presented.
  • the conversion efficiency may be different and the haptic intensity sx of the presented haptic Sx may be different.
  • the detection organ for example, mechanoreceptor
  • the detection organ that detects the stimulus to the skin of the human body HB may perceive the tactile sense Sx depending on the type of tactile sense (stimulus).
  • the perceived intensity px of Px may differ.
  • FIG. 2 is a graph showing an example of input/output characteristics (without compensation) of the control circuit, where the horizontal axis indicates the specified intensity ix of the input signal Ix and the vertical axis indicates the signal intensity vx of the drive signal Vx.
  • the control circuit 11 calculates the signal strength vx of the driving signal Vx by performing arithmetic processing on the designated strength ix designated by the input signal Ix using a function expression indicating the input/output characteristic H set in advance, and calculates the signal strength vx. and apply it to the tactile presentation device 13x corresponding to the input signal Ix. At this time, when no compensation is performed, the same functional expression is used to calculate the signal strength vx. A driving signal Vx having a signal strength vx is applied.
  • FIG. 3 is a graph showing an example of input/output characteristics of the tactile sense presentation device, in which the horizontal axis represents the signal intensity vx of the drive signal Vx and the vertical axis represents the tactile sense intensity sx of the tactile sense Sx.
  • the horizontal axis represents the signal intensity vx of the drive signal Vx
  • the vertical axis represents the tactile sense intensity sx of the tactile sense Sx.
  • two input/output characteristics GA and GB for the tactile presentation devices 13A and 13B are shown.
  • the tactile sensations SA and SB presented from the tactile presentation devices 13A and 13B may be different.
  • FIG. 4 is a graph showing an example of perceptual characteristics of a detecting organ possessed by the human body, in which the horizontal axis indicates the tactile sensation intensity sx of the tactile sensation Sx and the vertical axis indicates the perceptual intensity px of the sensation Px.
  • two perceptual properties QA, QB are shown for a detector OR detecting haptics SA, SB.
  • the tactile sense intensities sA and sB of the tactile senses SA and SB are the same value sx, if the types of the tactile sense Sx are different, the perceptual intensities pA of the senses PA and PB detected by the detector OR of the human body HB , pB may be different.
  • FIG. 5 is a graph showing an example of overall input/output characteristics including the haptic device and the human body, where the horizontal axis indicates the specified intensity ix of the input signal Ix and the vertical axis indicates the perceived intensity px of the perception Px.
  • FIG. 5 as an example, two input/output characteristics FA, FB related to haptics SA, SB are shown.
  • the input/output characteristic FA is composed of the input/output characteristic H of the control circuit 11, the input/output characteristic GA of the tactile sense presentation device 13A, and the perceptual characteristic QA of the detector OR regarding the tactile sense SA.
  • the input/output characteristic FB is composed of the input/output characteristic H of the control circuit 11, the input/output characteristic GB of the tactile sense presentation device 13B, and the perceptual characteristic QB of the detector OR regarding the tactile sense SB.
  • the input/output characteristics GA and GB may differ from each other, and the perceptual characteristics QA and QB may differ from each other.
  • the specified intensities iA and iB of the input signals IA and IB are the same value ix, if the types of the tactile sense Sx are different, the perceptual intensities pA of the perceptions PA and PB detected by the detector OR of the human body HB , pB may be different. Therefore, a highly realistic virtual tactile sensation cannot be presented, and the experience of the user using the haptic device 10 is spoiled.
  • the reason why the human body HB does not correctly detect the perceived intensity px corresponding to the specified intensity ix specified by the input signal Ix is that the input/output characteristic Gx of the tactile sense presentation device 13x and the perception of the detector OR of the human body HB. This is based on the fact that the characteristic Px depends on the type of haptic Sx.
  • the drive signal Vx is compensated by the control circuit 11 so that the perceived intensity px corresponding to the specified intensity ix specified by the input signal Ix can be obtained even if the type of the tactile sensation Sx is different. is.
  • the tactile sense device As shown in FIG. 1, when Hx is the input/output characteristic of the control circuit 11 related to a certain type of tactile sense Sx, Gx is the input/output characteristic of the tactile sense presentation device 13x, and Qx is the perceptual characteristic of the detector OR, the tactile sense device
  • the input/output characteristic Hx corresponds to the compensation characteristic of the individual model Mx for compensating the input/output characteristic Gx of the tactile sense presentation device 13x and the perceptual characteristic Qx of the detector OR.
  • the input/output characteristics Fx are defined when the haptic device 10 is designed.
  • the input-output characteristic Fx may be defined such that the perceived intensity px of the detector OR is linearly proportional to the specified intensity ix specified by the input signal Ix.
  • the slope of the input/output characteristic Fx corresponds to the overall linear gain including the haptic device 10 and the human body HB, and may be freely defined by the designer within a range that the human body HB can perceive and is not uncomfortable.
  • the input/output characteristics Gx can be obtained by simulation or measurement of the tactile sense presentation device 13x.
  • the entire input/output characteristic Hx may be set to individual Mx. may be set to individual Mx. In this case, the drive signal Vx is generated using the input/output characteristic H and the individual Mx.
  • the overall input/output characteristics F including the haptic device 10 and the human body HB need only have one reference characteristic.
  • the input/output characteristic Fx of is compensated to the input/output characteristic F. Therefore, the input/output characteristics related to an arbitrary type of haptic So are selected in advance as the reference input/output characteristics Fo, and the input/output characteristics Fx related to other types of haptics Sx are calculated based on the respective individual models Mx as the reference input/output characteristics Fo should be compensated to be equal to
  • FIG. 6 is a graph showing the compensation process of the input/output characteristics, where the horizontal axis indicates the specified intensity ix of the input signal Ix and the vertical axis indicates the perceived intensity px of the perceived Px.
  • FIG. 6 as an example, two input/output characteristics FA and FB related to haptics SA and SB are shown.
  • the input/output characteristic FA is selected as the reference input/output characteristic Fo, no compensation for the haptic sensation SA is required.
  • the input/output characteristic FB of the haptic sense SB is compensated to be equal to the reference input/output characteristic Fo based on the individual model MB.
  • an input/output characteristic F that does not correspond to any haptic type may be selected as the reference input/output characteristic Fo.
  • the input/output characteristics Fx for each type of tactile sensation Sx may be compensated to be equal to the input/output characteristics Fo based on each individual model Mx.
  • FIG. 7 is a graph showing another compensation process for the input/output characteristics, in which the horizontal axis indicates the specified intensity ix of the input signal Ix and the vertical axis indicates the perceived intensity px of the perception Px.
  • two input/output characteristics FA, FB related to haptics SA, SB are shown.
  • the input/output characteristics FA and FB of the haptics SA and SB are compensated to be equal to the reference input/output characteristics Fo based on the respective individual models MA and MB.
  • the control circuit 11 selects an individual model Mx corresponding to the inputted input signal Ix from among the compensation models 12A. Next, based on this individual model Mx, the control circuit 11 calculates the signal strength vx of the drive signal Vx to be presented from the tactile presentation device 13x from the value of the specified strength ix specified by the input signal Ix. After that, the control circuit 11 generates a drive signal Vx having a signal strength vx and applies it to the tactile sense presentation device 13x.
  • the drive signal Vx that compensates for the input/output characteristic Gx of the tactile sense presentation device 13x and the perception characteristic Qx of the human body HB that perceives the tactile sense Sx is applied from the control circuit 11 to the tactile sense presentation device 13x. Therefore, by performing such compensation in the control circuit 11, when the same specified intensity ix is specified by the input signal Ix, the perception Px related to the haptic Sx is at a constant perceived intensity px regardless of the type of the haptic Sx. , will be detected by the detector OR of the human body HB.
  • the storage circuit 12 stores in advance the compensation model 12A for compensating the input/output characteristic Gx of the tactile sense presentation device 13x and the perceptual characteristic Qx of the human body HB for each input signal Ix.
  • the control circuit 11 when the control circuit 11 generates the drive signal Vx, the input/output characteristic Gx of the tactile sense presentation device 13x and the human body HB is configured to generate a drive signal Vx that compensates for the perceptual characteristic Qx of
  • the control circuit 11 determines the relationship between the specified intensity ix specified by the input signal Ix and the perceived intensity px at which the human body HB perceives the tactile sensation Sx of the tactile intensity sx presented from the tactile presentation device 13x.
  • Individual models Mx (MA, MB, . Based on this, the driving signal Vx having the signal strength vx that compensates for the input/output characteristic Gx of the tactile sense presentation device 13x and the perceptual characteristic Qx of the human body HB is generated.
  • the compensation model 12A includes the input/output characteristics F of the haptic device 10 and the entire human body HB, the relationship between the signal intensity vx of the drive signal Vx and the tactile intensity sx of the tactile sense Sx presented from the tactile sense presentation device 13x. and the input/output characteristic Qx of the human body HB, which indicates the relationship between the tactile sense intensity sx and the perceived intensity px at which the human body HB perceives the tactile sense Sx of the tactile sense intensity sx. It may be configured to include a plurality of individual models Mx consisting of the inverse properties for .
  • the driving signal Vx in which the input/output characteristic Gx of the tactile sense presentation device 13x and the perceptual characteristic Qx of the human body HB are compensated based on the specified intensity ix specified by the input signal Ix is The voltage is applied from the control circuit 11 to the tactile sense presentation device 13x. Therefore, even if the input/output characteristics Gx of the tactile sensation presentation device 13x are different from each other, or the perceptual characteristics Qx of the human body HB are different from each other, if the same specified intensity ix is specified by the input signal Ix, the type of the tactile sensation Sx will be different.
  • the tactile sensation Sx detected by the detecting organ OR of the human body HB can be presented at a constant perceptual intensity px.
  • the tactile device 10 can present a highly realistic virtual tactile sensation, and the user using the tactile device 10 can more accurately experience the virtual world generated by the host device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

記憶回路(12)で、触覚提示デバイス(13x)の入出力特性(Gx)と人体(HB)の知覚特性(Qx)とを補償する補償モデル(12A)を、入力信号(Ix)ごとに予め記憶しておき、制御回路(11)が、駆動信号(Vx)を生成する際、記憶回路(12)が記憶する補償モデル(12A)のうち、入力信号(Ix)に対応する個別モデルに基づいて、触覚提示デバイス(13x)の入出力特性(Gx)と人体(HB)の知覚特性(Qx)とを補償した駆動信号(Vx)を生成する。これにより、異なる複数の触覚提示デバイスを用いる場合でも、リアリティの高い仮想触覚を提示できる。

Description

触覚デバイスおよび制御方法
 本発明は、触覚提示デバイスを駆動させることにより仮想触覚を提示する触覚提示技術に関する。
 近年、コンピューターで生成された仮想的な世界を、人にあたかも現実のように体験させる、仮想現実(VR:Virtual Reality)の研究が進んでいる。また、この仮想現実を、映像や音による視覚、聴覚、触覚をリアルに再現できる仮想現実再現装置も開発されつつある。例えば、立体的な映像や音声を再現できる装置として、ヘッドマウントディスプレー(HMD:Head Mounted Display)がある。一方、人の触覚を再現できるデバイスとして、触覚デバイスが注目されている。触覚デバイスは、振動デバイスやペルチェ素子(Peltier Device)などの触覚提示デバイスを駆動させることにより、力・振動・温度などの触覚によって、人に皮膚感覚フィードバック、すなわち仮想触覚を提示するように構成されている(例えば、非特許文献1など参照)。
井上 康之他, "触原色原理に基づいた触覚提示システム", TVRSJ Vol.25 No.1 pp.86-94, 2020
 触覚デバイスでは、仮想触覚を提示する場合、提示したい感覚やテクスチャによって、最適な触覚提示デバイスが異なる。例えば、触覚提示デバイスには、振動刺激、電気刺激、空気圧刺激や外骨格による触力覚提示を行うものがあり、より多くの種類の感覚を提示するためには、異なる複数の触覚提示デバイスを搭載する必要がある。
 しかし、異なる複数の触覚提示デバイスを用いる場合、触覚提示デバイスごとに信号パラメータや、伝達効率、周波数特性が異なる。そのため、触覚デバイスが、例えば空気圧刺激と電気刺激を提示する複数の触覚提示デバイスを有していた場合、それぞれの提示強度を等しく使用者に提示することが難しい。したがって、これら触覚提示デバイスを一律に制御した場合、リアリティの高い仮想触覚を提示することができず、触覚デバイスを利用するユーザの体験を損なってしまうという問題点があった。
 本発明はこのような課題を解決するためのものであり、異なる複数の触覚提示デバイスを用いる場合でも、リアリティの高い仮想触覚を提示できる触覚提示技術を提供することを目的としている。
 このような目的を達成するために、本発明にかかる触覚デバイスは、印加された駆動信号に応じた触覚を提示するように構成された複数の触覚提示デバイスと、入力信号に基づいて前記駆動信号を生成し、前記複数の触覚提示デバイスのうち当該入力信号と対応する対応触覚提示デバイスへ印加するように構成された制御回路と、記憶回路とを備え、前記記憶回路は、前記入力信号ごとに、当該入力信号と対応する触覚提示デバイスの入出力特性と人体の知覚特性とを補償する補償モデルを予め記憶し、前記制御回路は、前記駆動信号を生成する際、前記記憶回路が記憶する前記補償モデルのうち前記入力信号と対応する個別モデルに基づいて、前記対応触覚提示デバイスの入出力特性と人体の知覚特性とを補償した前記駆動信号を生成するように構成したものである。
 また、本発明にかかる制御方法は、印加された駆動信号に応じた触覚を提示するように構成された複数の触覚提示デバイスと、入力信号に基づいて前記駆動信号を生成し、前記複数の触覚提示デバイスのうち当該入力信号と対応する対応触覚提示デバイスへ印加するように構成された制御回路と、記憶回路とを備える、触覚デバイスで用いられる制御方法であって、前記記憶回路が、前記入力信号ごとに、当該入力信号と対応する触覚提示デバイスの入出力特性と人体の知覚特性とを補償する補償モデルを予め記憶するステップと、前記制御回路が、前記駆動信号を生成する際、前記記憶回路が記憶する前記補償モデルのうち前記入力信号と対応する個別モデルに基づいて、前記対応触覚提示デバイスの入出力特性と人体の知覚特性とを補償した前記駆動信号を生成するステップとを備えている。
 本発明によれば、異なる複数の触覚提示デバイスを用いる場合でも、リアリティの高い仮想触覚を提示することができる。
図1は、触覚デバイスの構成を示すブロック図である。 図2は、制御回路の入出力特性例(補償なし)を示すグラフである。 図3は、触覚提示デバイスの入出力特性例を示すグラフである。 図4は、人体が持つ検出器官の知覚特性例を示すグラフである。 図5は、触覚デバイスおよび人体を含む全体の入出力特性例を示すグラフである。 図6は、入出力特性の補償過程を示すグラフである。 図7は、入出力特性の他の補償過程を示すグラフである。
 次に、本発明の実施の形態について図面を参照して説明する。
[触覚デバイス]
 まず、図1を参照して、本実施の形態にかかる触覚デバイス10について説明する。図1は、触覚デバイスの構成を示すブロック図である。
 この触覚デバイス10は、振動、電気、空気圧などの刺激や、外骨格による触力覚によって、人に皮膚感覚フィードバック、すなわち仮想触覚を提示する装置である。図1に示すように、触覚デバイス10は、主な回路構成として、制御回路11、記憶回路12、および複数の触覚提示デバイス13を備えている。
[制御回路]
 制御回路11は、全体として入力された信号を信号処理して出力する信号処理回路からなり、PC、スマートフォン、タブレットなどの上位装置(図示せず)から入力された、個々の触覚提示デバイス13x(13A,13B,…,13N)と対応する入力信号Ix(IA,IB,…,IN)ごとに、当該入力信号Ixを変換処理して駆動信号Vx(VA,VB,…,VN)を生成し、対応する触覚提示デバイス13x(対応触覚提示デバイス)へ印加するように構成されている。
 この際、制御回路11は、記憶回路12が記憶する補償モデル12Aのうち、入力信号Ixと対応する個別モデルMxに基づいて、触覚提示デバイス13xの入出力特性Gxと、触覚提示デバイス13xから提示された触覚(仮想触覚)Sxを知覚する人体HBの知覚特性(知覚感度特性)Qxとを補償する駆動信号Vxを生成するように構成されている。
 具体的には、制御回路11は、入力信号Ixで指定された指定強度ixと、触覚提示デバイス13xから提示される触覚強度sxの触覚Sxを人体HBが知覚する知覚強度pxとの関係が、予め定義されている、触覚デバイス10および人体HBを含む全体の入出力特性Fと一致するように、補償モデル12Aのうち入力信号Ixと対応する個別モデルMx(MA,MB,…,MN)に基づいて、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとを補償した信号強度vxを有する駆動信号Vxを生成するように構成されている。
[記憶回路]
 記憶回路12は、半導体メモリからなり、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとを補償する補償モデル12Aを予め記憶するように構成されている。補償モデル12Aは、入力信号Ixごとに設けられた個別モデルMxからなる。個別モデルMxは、入力信号Ixで指定された指定強度ixと人体HBが触覚強度sxの触覚Sxを知覚する知覚強度pxとの関係が、予め定義されている、触覚デバイス10および人体HBを含む全体の入出力特性Fと一致するように、補償するためのモデルである。
 この個別モデルMxは、触覚デバイス10および人体HB全体の入出力特性F、駆動信号Vxの信号強度vxと触覚提示デバイス13xから提示される触覚Sxの触覚強度sxとの関係を示す、触覚提示デバイス13xの入出力特性Gxに関する逆特性、および、触覚強度sxと人体HBで触覚強度sxの触覚Sxが知覚される知覚強度pxとの関係を示す、人体HBの知覚特性Qxに関する逆特性が、合成された特性を有している。個別モデルMxは、入力値と出力値との対応関係を示す関数式とそのパラメータを記憶しておいてもよい。入力値と出力値の対応関係を示すテーブルを記憶しておいてもよい。
 以下では、入力信号Ixが異なる触覚Sxあるいは触覚提示デバイス13xごとに設けられており、入力信号Ixごとに個別モデルMxを記憶する場合を例として説明するが、これに限定されるものではなく、異なる入力信号Ixに同一の個別モデルMxを対応させてもよい。例えば、異なる入力信号Ixに対して、同一種別の触覚を提示する複数の触覚提示デバイス13xが設けられている場合には、これら入力信号Ixに同一の個別モデルMxを対応させることができる。
[触覚提示デバイス]
 触覚提示デバイス13は、振動、電気、空気圧などの刺激や、外骨格による触力覚によって、人に皮膚感覚フィードバック、すなわち仮想触覚Stを提示する一般的な素子である。具体的には、力や振動により感覚を提示する触覚提示デバイス13の1つとして振動アクチュエータなどの振動デバイスがある。また、温度により感覚を提示する触覚提示デバイス13の1つとして、ペルチェ効果(Peltier Effect)を用いた板状の半導体熱電素子からなるペルチェ素子(Peltier Device)がある。また、空気圧により感覚を提示する触覚提示デバイス13の1つとして、エアバッグ内の空気量を調整して得られた空気圧を提示するデバイスがある。
[本発明の原理]
 次に、図1を参照して、本発明の原理について説明する。
 一般に、触覚提示デバイス13xは、様々な刺激や触力覚からなる触覚を提示するため、提示する触覚の種別によって、入力された駆動信号Vxの信号強度vxが等しくても、触覚Sxに変換する変換効率が異なり、提示される触覚Sxの触覚強度sxが異なる場合がある。また、人体HBの皮膚への刺激を検出する検出器官(例えば、機械受容体)ORは、提示された触覚Sxの触覚強度sxが等しくても、触覚(刺激)の種別によって、触覚Sxに関する知覚Pxの知覚強度pxが異なる場合がある。
 図2は、制御回路の入出力特性例(補償なし)を示すグラフであり、横軸が入力信号Ixの指定強度ix、縦軸が駆動信号Vxの信号強度vxを示している。制御回路11は、入力信号Ixで指定された指定強度ixを、予め設定されている入出力特性Hを示す関数式で演算処理して駆動信号Vxの信号強度vxを計算し、信号強度vxを有する駆動信号Vxを生成して、入力信号Ixと対応する触覚提示デバイス13xへ印加する。この際、補償を行わない場合、信号強度vxの計算に用いる関数式は同一のものを用いるため、いずれの入力信号Ixについても、指定強度ixが等しい場合、対応する触覚提示デバイス13xには等しい信号強度vxの駆動信号Vxが印加される。
 一方、触覚提示デバイス13xの入出力特性Gxは、提示する触覚の種別によって異なる。図3は、触覚提示デバイスの入出力特性例を示すグラフであり、横軸が駆動信号Vxの信号強度vx、縦軸が触覚Sxの触覚強度sxを示している。図3では、例として、触覚提示デバイス13A,13Bに関する2つの入出力特性GA,GBが示されている。このように、駆動信号VA,VBの信号強度vA,vBが等しい値vxであっても、触覚Sxの種別が異なれば、触覚提示デバイス13A,13Bから提示される触覚SA,SBの触覚強度sA,sBが異なる場合がある。
 また、人体HBが持つ検出器官ORの知覚特性Pxは、提示された触覚の種別によって異なる。図4は、人体が持つ検出器官の知覚特性例を示すグラフであり、横軸が触覚Sxの触覚強度sx、縦軸が知覚Pxの知覚強度pxを示している。図4では、例として、触覚SA,SBを検出する検出器官ORに関する2つの知覚特性QA,QBが示されている。このように、触覚SA,SBの触覚強度sA,sBが等しい値sxであっても、触覚Sxの種別が異なれば、人体HBが持つ検出器官ORで検出される知覚PA,PBの知覚強度pA,pBが異なる場合がある。
 したがって、入力信号IA,IBで等しい指定強度iA,iBを指定しても、それぞれの触覚提示デバイス13A,13Bから提示される触覚SA,SBの触覚強度sA,sBが異なる場合があることになる。図5は、触覚デバイスおよび人体を含む全体の入出力特性例を示すグラフであり、横軸が入力信号Ixの指定強度ix、縦軸が知覚Pxの知覚強度pxを示している。図5では、例として、触覚SA,SBに関する2つの入出力特性FA,FBが示されている。
 図5に示すように、入出力特性FAは、制御回路11の入出力特性Hと、触覚提示デバイス13Aの入出力特性GAと、触覚SAに関する検出器官ORの知覚特性QAとから構成される。入出力特性FBは、制御回路11の入出力特性Hと、触覚提示デバイス13Bの入出力特性GBと、触覚SBに関する検出器官ORの知覚特性QBとから構成される。
 この際、前述したように、これら入出力特性GA,GBは互いに異なる場合や、知覚特性QA,QBが互いに異なる場合がある。このため、入力信号IA,IBの指定強度iA,iBが等しい値ixであっても、触覚Sxの種別が異なれば、人体HBが持つ検出器官ORで検出される知覚PA,PBの知覚強度pA,pBが異なる場合がある。このため、リアリティの高い仮想触覚を提示することができず、触覚デバイス10を利用するユーザの体験を損なってしまうことになる。
[本発明の要旨]
 本発明は、入力信号Ixで指定された指定強度ixに応じた知覚強度pxが、人体HBで正しく検知されない原因が、触覚提示デバイス13xの入出力特性Gxと、人体HBの検出器官ORの知覚特性Pxとが、触覚Sxの種別に依存することに着目したものである。そして、触覚Sxの種別が異なる場合であっても、入力信号Ixで指定された指定強度ixに応じた知覚強度pxが得られるように、制御回路11で駆動信号Vxを補償するようにしたものである。
 図1に示すように、ある種別の触覚Sxに関する制御回路11の入出力特性をHxとし、触覚提示デバイス13xの入出力特性をGxとし、検出器官ORの知覚特性をQxとした場合、触覚デバイス10および人体HBを含む全体の入出力特性Fxは、Fx=Hx・Gx・Qxで表される。このうち、入出力特性Hxが、触覚提示デバイス13xの入出力特性Gxと検出器官ORの知覚特性Qxとを補償するための個別モデルMxの補償特性に相当する。
 この際、入出力特性Fxは、触覚デバイス10の設計時に定義される。例えば、入出力特性Fxを、検出器官ORの知覚強度pxが入力信号Ixで指定された指定強度ixに線形比例すると定義してもよい。入出力特性Fxの傾きは、触覚デバイス10および人体HBを含む全体の線形ゲインに相当し、人体HBが知覚でき、かつ不快ではない範囲で、設計者が自由に定義すればよい。
 一方、入出力特性Gxは、触覚提示デバイス13xのシミュレーションや計測により得ることができる。また、知覚特性Qxは、人体HBの感覚を用いた官能評価試験により得ることができる。したがって、Gxの逆特性をGx-1とし、Qxの逆特性をQx-1とすると、制御回路11の入出力特性Hxは、Hx=F・Gx-1・Px-1で表され、これらF,Gx、およびQxから、入出力特性Hxを特定することができる。この際、入出力特性Hx全体を個別Mxに設定してもよいが、各触覚Sxで共用できる入出力特性Hを予め規定しておき、この入出力特性Hと入出力特性Hxとの差分特性を個別Mxに設定してもよい。この場合には、入出力特性Hと個別Mxとを用いて駆動信号Vxを生成することになる。
 ここで、触覚デバイス10および人体HBを含む全体の入出力特性Fは、基準となる特性が1つあればよく、制御回路11が、個々の種別の触覚Sxに関する個別モデルMxに基づいて、それぞれの入出力特性Fxを入出力特性Fに補償することになる。したがって、予め任意の種別の触覚Soに関する入出力特性を基準入出力特性Foとして選択し、他の種別の触覚Sxに関する入出力特性Fxを、それぞれの個別モデルMxに基づいて、基準入出力特性Foと等しくなるよう補償すればよい。
 図6は、入出力特性の補償過程を示すグラフであり、横軸が入力信号Ixの指定強度ix、縦軸が知覚Pxの知覚強度pxを示している。図6では、例として、触覚SA,SBに関する2つの入出力特性FA,FBが示されている。この例では、入出力特性FAが基準入出力特性Foとして選択されているため、触覚SAに関する補償は必要ない。一方、触覚SBの入出力特性FBは、個別モデルMBに基づいて基準入出力特性Foと等しくなるよう補償される。
 一方、いずれの触覚種別にも相当しない入出力特性Fを基準入出力特性Foとして選択してもよい。この場合には、各種別の触覚Sxに関する入出力特性Fxを、それぞれの個別モデルMxに基づいて、入出力特性Foと等しくなるよう補償すればよい。
 図7は、入出力特性の他の補償過程を示すグラフであり、横軸が入力信号Ixの指定強度ix、縦軸が知覚Pxの知覚強度pxを示している。図7では、例として、触覚SA,SBに関する2つの入出力特性FA,FBが示されている。この例では、触覚SA,SBの入出力特性FA,FBが、それぞれの個別モデルMA,MBに基づいて基準入出力特性Foと等しくなるよう補償される。
[本実施の形態の動作]
 次に、本実施の形態にかかる触覚デバイス10の制御方法の動作について説明する。
 まず、制御回路11は、補償モデル12Aのうちから入力された入力信号Ixと対応する個別モデルMxを選択する。次に、制御回路11は、この個別モデルMxに基づいて、入力信号Ixで指定された指定強度ixの値から、触覚提示デバイス13xから提示されるべき駆動信号Vxの信号強度vxを計算する。この後、制御回路11は、信号強度vxを持つ駆動信号Vxを生成して触覚提示デバイス13xへ印加する。
 これにより、触覚提示デバイス13xの入出力特性Gxと触覚Sxを知覚する人体HBの知覚特性Qxとを補償する駆動信号Vxが、制御回路11から触覚提示デバイス13xへ印加されることになる。
 したがって、このような補償を制御回路11で行うことにより、入力信号Ixで同じ指定強度ixを指定した場合には、触覚Sxの種別にかかわらず、触覚Sxに関する知覚Pxが一定の知覚強度pxで、人体HBの検出器官ORで検出されることになる。
[本実施の形態の効果]
 このように、本実施の形態は、記憶回路12で、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとを補償する補償モデル12Aを、入力信号Ixごとに予め記憶しておき、制御回路11が、駆動信号Vxを生成する際、記憶回路12が記憶する補償モデル12Aのうち、入力信号Ixに対応する個別モデルに基づいて、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとを補償した駆動信号Vxを生成するように構成したものである。
 具体的には、制御回路11が、入力信号Ixで指定された指定強度ixと、触覚提示デバイス13xから提示される触覚強度sxの触覚Sxを人体HBが知覚する知覚強度pxとの関係が、予め定義されている、触覚デバイス10および人体HBを含む全体の入出力特性Fと一致するように、補償モデル12Aのうち入力信号Ixと対応する個別モデルMx(MA,MB,…,MN)に基づいて、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとを補償した信号強度vxを有する駆動信号Vxを生成するように構成したものである。
 また、具体的には、補償モデル12Aに、触覚デバイス10および人体HB全体の入出力特性F、駆動信号Vxの信号強度vxと触覚提示デバイス13xから提示される触覚Sxの触覚強度sxとの関係を示す、触覚提示デバイス13xの入出力特性Gxに関する逆特性、および、触覚強度sxと人体HBが触覚強度sxの触覚Sxを知覚する知覚強度pxとの関係を示す、人体HBの入出力特性Qxに関する逆特性からなる、複数の個別モデルMxを含むように構成してもよい。
 したがって、本実施の形態によれば、入力信号Ixで指定された指定強度ixに基づいて、触覚提示デバイス13xの入出力特性Gxと人体HBの知覚特性Qxとが補償された駆動信号Vxが、制御回路11から触覚提示デバイス13xへ印加されることになる。このため、触覚提示デバイス13xの入出力特性Gxが互いに異なる場合や、人体HBの知覚特性Qxが互いに異なる場合でも、入力信号Ixで同じ指定強度ixを指定した場合には、触覚Sxの種別にかかわらず、一定の知覚強度pxで人体HBの検出器官ORで検出される触覚Sxを提示することができる。
 これにより、触覚デバイス10において、リアリティの高い仮想触覚を提示することが可能となり、触覚デバイス10を利用するユーザに、上位装置が生成した仮想的な世界をより正確に体験させることができる。
[実施の形態の拡張]
 以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
 10…触覚デバイス、11…制御回路、12…記憶回路、12A…補償モデル、13,13x…触覚提示デバイス、Mx…個別モデル、HB…人体、RE…検出器官、BR…脳、Ix…入力信号、ix…指定強度、Vx…駆動信号、vx…信号強度、Sx…触覚、sx…触覚強度、Px…知覚、px…知覚強度、F,Fx,Gx,Hx,Qx…入出力特性、Fo…基準入出力特性。

Claims (6)

  1.  印加された駆動信号に応じた触覚を提示するように構成された複数の触覚提示デバイスと、
     入力信号に基づいて前記駆動信号を生成し、前記複数の触覚提示デバイスのうち当該入力信号と対応する対応触覚提示デバイスへ印加するように構成された制御回路と、
     記憶回路とを備え、
     前記記憶回路は、前記入力信号ごとに、当該入力信号と対応する触覚提示デバイスの入出力特性と人体の知覚特性とを補償する補償モデルを予め記憶し、
     前記制御回路は、前記駆動信号を生成する際、前記記憶回路が記憶する前記補償モデルのうち前記入力信号と対応する個別モデルに基づいて、前記対応触覚提示デバイスの入出力特性と人体の知覚特性とを補償した前記駆動信号を生成する
     ことを特徴とする触覚デバイス。
  2.  請求項1に記載の触覚デバイスにおいて、
     前記制御回路は、前記入力信号で指定された指定強度と前記対応触覚提示デバイスから提示される触覚を人体が知覚する知覚強度との関係が、予め定義されている、前記触覚デバイスおよび人体を含む全体の入出力特性と一致するように、前記個別モデルに基づいて、前記対応触覚提示デバイスの入出力特性と人体の知覚特性とを補償した前記駆動信号を生成する、ように構成されていることを特徴とする触覚デバイス。
  3.  請求項1または請求項2に記載の触覚デバイスにおいて、
     前記個別モデルは、前記入力信号で指定された指定強度と前記対応触覚提示デバイスから提示される触覚を人体が知覚する知覚強度との関係を示す、前記触覚デバイスおよび人体を含む全体の入出力特性と、前記駆動信号の信号強度と前記対応触覚提示デバイスから提示される触覚の触覚強度との関係を示す、前記対応触覚提示デバイスの入出力特性に関する逆特性と、前記触覚デバイスから提示される触覚の触覚強度と当該触覚が人体で知覚される知覚強度との関係を示す、人体の知覚特性に関する逆特性とを含むことを特徴とする触覚デバイス。
  4.  請求項1に記載の触覚デバイスにおいて、
     前記個別モデルは、前記入力信号で指定された指定強度と前記対応触覚提示デバイスから提示される触覚を人体が知覚する知覚強度との関係を示す、前記触覚デバイスおよび人体を含む全体の入出力特性を、予め定義されている基準入出力特性と等しくなるように補償するモデルからなることを特徴とする触覚デバイス。
  5.  請求項4に記載の触覚デバイスにおいて、
     前記基準入出力特性は、前記入力信号のうちから予め選択した入力信号で指定された指定強度と、前記複数の触覚提示デバイスのうち前記選択した入力信号と対応する触覚提示デバイスから提示される触覚を人体が知覚する知覚強度との関係を示す、前記触覚デバイスおよび人体を含む全体の入出力特性からなることを特徴する触覚デバイス。
  6.  印加された駆動信号に応じた触覚を提示するように構成された複数の触覚提示デバイスと、入力信号に基づいて前記駆動信号を生成し、前記複数の触覚提示デバイスのうち当該入力信号と対応する対応触覚提示デバイスへ印加するように構成された制御回路と、記憶回路とを備える、触覚デバイスで用いられる制御方法であって、
     前記記憶回路が、前記入力信号ごとに、当該入力信号と対応する触覚提示デバイスの入出力特性と人体の知覚特性とを補償する補償モデルを予め記憶することと、
     前記制御回路が、前記駆動信号を生成する際、前記記憶回路が記憶する前記補償モデルのうち前記入力信号と対応する個別モデルに基づいて、前記対応触覚提示デバイスの入出力特性と人体の知覚特性とを補償した前記駆動信号を生成すること
     を備えることを特徴とする制御方法。
PCT/JP2021/021543 2021-06-07 2021-06-07 触覚デバイスおよび制御方法 WO2022259301A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021543 WO2022259301A1 (ja) 2021-06-07 2021-06-07 触覚デバイスおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021543 WO2022259301A1 (ja) 2021-06-07 2021-06-07 触覚デバイスおよび制御方法

Publications (1)

Publication Number Publication Date
WO2022259301A1 true WO2022259301A1 (ja) 2022-12-15

Family

ID=84424987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021543 WO2022259301A1 (ja) 2021-06-07 2021-06-07 触覚デバイスおよび制御方法

Country Status (1)

Country Link
WO (1) WO2022259301A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019069065A (ja) * 2017-10-11 2019-05-09 国立研究開発法人産業技術総合研究所 記録装置、記録方法、プログラム、皮膚刺激装置および皮膚刺激方法
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動
JP2020098649A (ja) * 2015-10-05 2020-06-25 株式会社ミライセンス 触力覚情報提示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098649A (ja) * 2015-10-05 2020-06-25 株式会社ミライセンス 触力覚情報提示システム
JP2019069065A (ja) * 2017-10-11 2019-05-09 国立研究開発法人産業技術総合研究所 記録装置、記録方法、プログラム、皮膚刺激装置および皮膚刺激方法
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動

Similar Documents

Publication Publication Date Title
JP7169590B2 (ja) 錯触力覚を誘起する方法及び錯触力覚を誘起する装置
Asadi et al. A review on otolith models in human perception
JP6566603B2 (ja) 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
US9245429B2 (en) Haptic warping system
US11325029B2 (en) Virtual reality environment generating apparatus and controller apparatus
KR20200040741A (ko) 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치
Rank et al. Perception of delay in haptic telepresence systems
CN111566595B (zh) 信息处理装置、信息处理方法和程序
KR20160033969A (ko) 단말 장치 및 그 제어방법
Dosen et al. A novel method to generate amplitude-frequency modulated vibrotactile stimulation
Schuwerk et al. On the transparency of client/server-based haptic interaction with deformable objects
WO2022259301A1 (ja) 触覚デバイスおよび制御方法
Yabe et al. Pseudo-haptic feedback on softness induced by squeezing action
WO2019171767A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022118456A1 (ja) 触覚デバイス
Tanaka et al. Frequency-specific masking effect by vibrotactile stimulation to the forearm
WO2022070300A1 (ja) 触覚デバイス
WO2022118457A1 (ja) 触覚デバイス
WO2021049083A1 (ja) 制御装置、制御方法、およびプログラム
US11003251B2 (en) Modeling method of tactility using nerve spike pattern, tactility model and manufacturing method of tactility using nerve spike pattern
Papetti Design and perceptual investigations of audio-tactile interactions
US10386928B2 (en) Dynamic haptic effects generator
CN113607045B (zh) 粗糙触感复现装置及方法和基于粗糙触感复现的网购方法
Ikeda et al. Producing method of softness sensation by device vibration
US11983322B2 (en) Systems and methods for controlling a multi-actuator system to generate a localized haptic effect

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP