WO2017099241A1 - 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム - Google Patents

触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム Download PDF

Info

Publication number
WO2017099241A1
WO2017099241A1 PCT/JP2016/086803 JP2016086803W WO2017099241A1 WO 2017099241 A1 WO2017099241 A1 WO 2017099241A1 JP 2016086803 W JP2016086803 W JP 2016086803W WO 2017099241 A1 WO2017099241 A1 WO 2017099241A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
finger
vibration
skin
presentation system
Prior art date
Application number
PCT/JP2016/086803
Other languages
English (en)
French (fr)
Inventor
孝太 南澤
田中　由浩
智祐 前田
正史 仲谷
ペイリス ロシャン
Original Assignee
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人慶應義塾 filed Critical 学校法人慶應義塾
Priority to JP2017555171A priority Critical patent/JP6809712B2/ja
Publication of WO2017099241A1 publication Critical patent/WO2017099241A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a tactile presentation system, a tactile presentation method, and a tactile presentation program.
  • Non-Patent Document 1 discloses a tactile contact lens that amplifies a minute unevenness that is difficult for a human to perceive by tracing the surface of an object with a finger through an uneven sheet.
  • Non-Patent Document 2 discloses a tactile sensation presentation system that presents a tactile sensation of an organ in real time through forceps during endoscopic surgery by attaching a sensor to the tip of the forceps.
  • the conventional tactile sensation presentation device needs to contact an object via a sheet or forceps, and cannot directly touch the object with a finger, which obstructs natural finger gripping and operation. Had.
  • the present invention has been made in view of the above problems, and a tactile presentation system, a tactile presentation method, and a tactile presentation capable of expanding or transmitting a tactile sensation while a user directly touches an object.
  • a program is provided.
  • the tactile presentation system of the present invention is a tactile presentation system that extends or transmits a tactile sensation when a user touches an object with a finger to a third party.
  • a skin vibration sensor provided between a first joint to a third joint of a finger or on a nail; a converter for converting the vibration signal read by the skin vibration sensor for the expansion or the transmission; It is provided with at least a vibrator that is provided in a user's arm other than the finger of the user or the third party and presents a tactile stimulus based on the vibration signal converted by the converter.
  • the tactile presentation system of the present invention is a tactile presentation system that expands the tactile sensation when a user touches an object with a finger, between the first joint and the third joint of the finger of the user or a nail.
  • a skin vibration sensor provided on the skin, a converter for converting the vibration signal read by the skin vibration sensor for the expansion or the transmission, and provided on the finger of the user, by the converter And a vibrator for presenting a tactile stimulus based on the converted vibration signal.
  • the tactile presentation system of the present invention is the above-described tactile presentation system, wherein the skin vibration sensor vibrates the vibration by a piezoelectric effect by wrapping a polyvinylidene fluoride film around a finger pad between the first joint and the third joint. It is a sensor that obtains a signal.
  • the tactile presentation system of the present invention is characterized in that, in the tactile presentation system, the vibrator presents the tactile stimulus on a fingertip side of a wrist joint to which the user's finger belongs.
  • the haptic presentation system of the present invention is characterized in that, in the haptic presentation system, the converter amplifies, modulates and / or subtracts a vibration propagation characteristic of the finger from the vibration signal.
  • the tactile presentation system of the present invention is characterized in that, in the tactile presentation system, the skin vibration sensor is a contact microphone provided on the nail of the user.
  • the tactile presentation system of the present invention is characterized in that, in the tactile presentation system, the vibrator is a voice coil type vibrator, a piezoelectric element, or a vibration motor.
  • the tactile presentation method of the present invention is executed in a tactile presentation system including at least a skin sensor, a transducer, and a vibrator in order to extend or transmit a tactile sensation when a user touches an object with a finger to a third party.
  • a reading step of acquiring a vibration signal in the skin vibration sensor provided between the first joint of the finger of the user and the third joint or on the nail, and in the converter A conversion step for converting the vibration signal read by the skin vibration sensor for the expansion or the transmission; and the user's finger, a hand other than the finger, or the third party.
  • the vibrator includes a presentation step of presenting a tactile stimulus based on the vibration signal converted by the converter.
  • the tactile presentation program of the present invention is executed on a tactile presentation system including at least a skin sensor, a transducer, and a vibrator in order to extend or transmit a tactile sensation when a user touches an object with a finger to a third party.
  • a tactile sensation presentation program for obtaining a vibration signal in the skin vibration sensor provided between the first joint and the third joint of the user's finger or on the nail, and the converter A conversion step of converting the vibration signal read by the skin vibration sensor for the expansion or the transmission, and provided to the user's finger, a hand other than the finger, or the third party. And a presentation step of presenting a tactile stimulus based on the vibration signal converted by the converter.
  • the user can directly touch the object while extending the touch or transmitting it to a third party. More specifically, since the skin vibration sensor is provided between the first joint and the third joint or on the nail without attaching a device to the finger pad portion up to the first joint, the user can directly grip the object. There is no hindrance to operation. Therefore, the user can extend the sense or transmit it to a third party while operating the object with his / her finger.
  • tactile sensation in which tactile sensation is expanded without wearing anything on the fingertip, human tactile abilities can be expanded as augmented reality so that eyesight is expanded with glasses.
  • a tactile sensation touching a target with a raw finger is transmitted to a third party
  • the tactile sensation of one person can be transmitted to the other person, which is useful for telecommunication and the like.
  • the present invention directly detects a fingertip that grips or manipulates an object for sensing or presentation. There is an effect that there is no hindrance.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a tactile sense presentation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an arrangement of each unit when the tactile sense is expanded in the same person.
  • FIG. 3 is a diagram illustrating an example of the skin vibration sensor 112 using a PVDF film.
  • FIG. 4 is a diagram schematically showing a skin vibration propagation model from the fingertip to the sensor mounting portion.
  • FIG. 5 is a diagram illustrating a model in which electric charges are generated by the force F applied with PVDF.
  • FIG. 6 is a diagram illustrating an example of a data flow in the tactile sense presentation system in which the equalizer 102b performs anonymization.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a tactile sense presentation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an arrangement of each unit when the tactile sense is expanded in the same person.
  • FIG. 3 is
  • FIG. 7 is a flowchart illustrating an example of a haptic expansion process in the haptic presentation system according to the present embodiment.
  • FIG. 8 is a flowchart illustrating an example of a tactile transmission process in the tactile presentation system of the present embodiment.
  • FIG. 9 is a graph showing experimental results for six subjects.
  • FIG. 10 is a graph showing experimental results of subjective evaluation based on the presence or absence of a tactile extension system.
  • FIG. 1 is a block diagram showing an example of the configuration of the tactile sensation presentation system according to the embodiment of the present invention, and conceptually shows only the portion related to the present invention in the configuration.
  • the tactile sense presentation system As shown in FIG. 1, the tactile sense presentation system according to the present embodiment is configured by connecting a skin vibration sensor 112, a converter 102, and a vibration actuator 114 by wire or wirelessly.
  • each unit when tactile input / output is not performed in real time, each unit may be configured to be temporarily communicably connected via an arbitrary communication path.
  • a recording medium such as a USB memory may be configured so that each unit can temporarily transmit and receive tactile signal data.
  • FIG. 2 is a diagram illustrating an example of an arrangement of each unit when the tactile sense is expanded in the same person.
  • the skin vibration sensor 112 is disposed between the first joint to the third joint of the finger, and is disposed avoiding the fingertip that is in direct contact with the object.
  • the converter 102 and the vibration actuator 114 are housed in the same casing of the wristwatch-type wearable terminal, and are configured so that vibration signals (changes in potential, etc.) generated by the skin vibration sensor 112 can be acquired by wire.
  • the vibration actuator 114 is arranged closer to the fingertip side than the wrist joint of the hand to which the finger that directly contacts the object belongs, so that the sense of the fingertip is enhanced.
  • the vibration actuator 114 is disposed on the back side of the hand, but is not limited thereto, and may be disposed on the inner side (palm side) of the hand.
  • the skin vibration sensor 112 is a vibration sensor that acquires a vibration signal transmitted through the skin of a finger.
  • the skin vibration sensor 112 may be a contact microphone attached to a fingernail that contacts an object. By attaching a contact microphone such as an electret condenser to the nail, vibration at the time of object contact can be detected while preventing air vibration (sound) signals from being congested.
  • the skin vibration sensor 112 wraps a polyvinylidene fluoride (PVDF) film around the finger pad between the first joint and the third joint, thereby generating a vibration signal by the piezoelectric effect. It may be a sensor to obtain.
  • the skin vibration sensor 112 wound with the PVDF film can detect skin vibration propagating from the fingertip at the middle node without directly interfering with the fingertip or the target object.
  • FIG. 3 is a diagram showing an example of the skin vibration sensor 112 using a PVDF film (upper view: palm side photograph, lower view: back side photograph).
  • the senor has a belt shape, and a PVDF film is wound around the first joint and the second joint.
  • a PVDF film is a kind of polymer piezoelectric material, and an output voltage is obtained by bending deformation of the PVDF film. Therefore, the vibration of the skin is captured by being attached to the skin, does not react to the movement of the entire finger, and the vibration transmitted through the skin can be measured even during a fast tactile movement such as a tracing movement.
  • FIG. 4 is a diagram schematically showing a skin vibration propagation model from the fingertip to the sensor mounting portion.
  • a transfer function G (s) representing skin vibration propagation from the fingertip to the sensor mounting portion can be expressed by the following equation.
  • s is a Laplace operator
  • a is a coefficient smaller than 1.
  • FIG. 5 is a diagram showing a model in which electric charges are generated by the force F applied with PVDF.
  • the PVDF film is wound around the finger, its thickness is sufficiently thin with respect to the finger, and the relationship between the skin and the PVDF film is assumed to be a simple beam bending problem as a condition for supporting both ends.
  • a skin vibration propagation function may be constructed. Measured from the transfer function G (s) representing the skin vibration propagation from the fingertip to the sensor mounting part, the transfer function P (s) from the skin vibration to the charge generated in the PVDF film, obtained from the above assumption, and the generated charge.
  • the transfer function F (s) from the final fingertip to the sensor output can be obtained by multiplying the three transfer functions H (s) up to the applied voltage (for details, see “Yoshihiro Tanaka et al.“ PVDF “Modeling of Wearable Skin Vibration Sensor Using Film” No. 15-2 Proceedings of the 2015 JSME Conference on Robotics and Mechatronics, Kyoto, Japan, May 17-19, 2015 2A2-X06 ”.
  • d 31 is a piezoelectric constant
  • t, b, and l are the thickness, width, and length of the film.
  • R is the resistance of the PVDF film measuring instrument
  • C is the capacitance.
  • the converter 102 is a means for converting the vibration signal read by the skin vibration sensor 112 for expansion or transmission.
  • the transducer 102 may amplify, modulate, and / or subtract vibration propagation characteristics of the finger from the vibration signal read by the skin vibration sensor 112. By multiplying the inverse of the skin vibration propagation function of the typical or average human finger and subtracting the vibration propagation characteristics of the finger, the vibration generated in the skin is close to the vibration when the object is actually touched. , The effect of improving the sense of reality is obtained.
  • “expansion” means that information read by the skin vibration sensor 112 of the user A's finger is fed back to the hand and / or arm of the same person A.
  • “expansion” includes feeding back information read by skin vibration sensor 112 of user A's finger to the same finger of the same person.
  • “transmission” means that information read by the skin vibration sensor 112 of the finger of the user A is output to the hand and / or arm of another person B, so that Telling B to send tactile information.
  • the tactile transmission method described in the following non-patent literature may be used (K. Minamizawa et al. “TECHTILE toolkit: a prototyping tool for designing haptic media,” ACM SIGEGP20G .).
  • the converter 102 may perform anonymization by subtracting the vibration propagation characteristics of the finger of the user A to whom the skin vibration sensor 112 is attached.
  • anonymization refers to the extraction of unmanned tactile information that can be transmitted to any person by subtracting the vibration propagation characteristics of the finger of user A wearing skin vibration sensor 112. That means. That is, the vibration detected from the finger of the user A has the characteristics of the person's finger (ie, “vibration propagation characteristics”) such as the length and softness of the finger, and the first-person tactile information of the user A It has become.
  • a known vibration is applied to the fingertip of the user A, and the vibration propagation characteristic from the fingertip of the user A to the middle finger of the user A is measured by comparing with the measurement data of the skin vibration sensor 112 of the middle finger of A.
  • the generalized haptic information that can be transmitted to any person can be extracted by calculating the propagation characteristic from any sensor information (a detailed example will be described later).
  • the converter 102 may further include a preamplifier 102a, an equalizer 102b, and / or a vibrator amplifier 102c.
  • the preamplifier 102a is a preamplifier that amplifies an electrical signal that is a vibration signal from the skin vibration sensor 112.
  • the preamplifier 102a may amplify the vibration signal to a level that can be handled as a conversion input.
  • the equalizer 102b is a correction circuit that optimizes the frequency characteristics of the vibration signal from the skin vibration sensor 112 according to the purpose of expansion or transmission.
  • the equalizer 102b may be a band-pass filter that passes a vibration signal in a specific frequency band, or may be a frequency filter that enhances or modulates the vibration signal.
  • the equalizer 102b may be a filter that passes only a frequency band that can be perceived by a human sense of touch.
  • the equalizer 102b or the converter 102 may have an effector function that modifies the vibration signal, may have a delay function that delays the vibration signal, and has a pitch shift function that changes the pitch of the vibration signal.
  • tactile amplification may be caused by adding white noise to the vibration signal.
  • the equalizer 102b may perform anonymization by subtracting the vibration propagation characteristic of the user by multiplying the vibration signal by the inverse function of the skin transfer function.
  • the vibration generated in each person's skin with respect to the input vibration has individual differences, and even in the same person, a difference occurs in the vibration by changing the state of the finger such as the pressing force of the finger. If a constant is obtained using the above-described skin vibration propagation function and multiplied by the inverse function, an anonymized vibration signal that does not depend on individual differences or finger states can be obtained.
  • FIG. 6 is a diagram illustrating, as an example, a data flow in the tactile sense presenting system in which the equalizer 102b performs anonymization.
  • the transmission function on the transmitting side that transmits vibration is g
  • the transfer function on the receiving side that receives vibration is f
  • the input stimulus is x.
  • the tactile sensation obtained by each is based on g (x) and f (x).
  • g (x) can be acquired.
  • the skin transfer function f has already been obtained by using the skin vibration sensor 112.
  • the skin propagation vibration of the receiver is set to g (x), that is, the skin propagation vibration of the user on the transmission side is made the same as the mechanical stimulus of the receiver on the reception side, and the tactile sharing method is as follows. Explained.
  • the equalizer 102b applies the vibration signal f ⁇ 1 (g (x)) obtained by multiplying the vibration signal g (x) read by the skin vibration sensor 112 by the inverse function f ⁇ 1 of the transfer function f of the person receiving the vibration. ) To the recipient. Then, the vibration actuator 114 on the receiving side outputs the received vibration signal f ⁇ 1 (g (x)).
  • the skin propagation vibration generated in the receiver has a transfer function f unique to the receiver for the input stimulus. This cancels the transfer functions f and f ⁇ 1 of the recipient, resulting in g (x) on the recipient's skin.
  • the transmitting-side converter 102 transmits the product by multiplying the inverse function f ⁇ 1 of the receiver's transfer function f.
  • the present invention is not limited to this, and the transmitting-side converter 102 transmits the vibration signal g. (X) is transmitted, and in the converter 102 on the receiving side, the inverse function f ⁇ 1 of its own (receiver) transfer function f is applied to the received vibration signal g (x) before the tactile stimulus is output. Multiplication is also good.
  • the vibrator amplifier 102b is an amplifier that amplifies the vibration signal (input signal) corresponding to the vibrator of the vibration actuator 114 to be output.
  • the output of a mechanical stimulus for an electric signal differs depending on the type of vibration actuator 114, such as a voice coil type vibrator, a piezo element, or a vibration motor. Modulation may be performed.
  • the converter 102 is connected to a communication means for transmitting / receiving signal data (not shown), an input / output means for signal data, a storage section for storing signal data, and a control section for processing other than the conversion of signal data.
  • a communication unit the communication control interface unit performs control to communicate between a transmission side terminal including at least the skin vibration sensor 112 and a reception side terminal including at least the vibration actuator 114 by wire or wirelessly.
  • the communication may be communication via a network such as the Internet. That is, the communication control interface unit has a function of communicating signal data with other terminals via a communication line (whether wired or wireless).
  • the input / output control interface unit is connected to a recording medium such as a USB memory and performs control to exchange signal data.
  • the storage unit is storage means such as a fixed disk device, and stores various programs, tables, files, databases, web pages, and the like used for various processes.
  • the control unit also has a control program such as an OS (Operating System), a program that defines various processing procedures, and an internal memory for storing necessary data. Information processing for execution may be performed.
  • OS Operating System
  • the vibration actuator 114 in the configuration of the tactile sensation presentation system is an actuator including a vibrator that presents a tactile stimulus.
  • the vibration actuator 114 is provided on the same finger provided with the skin vibration sensor 112, a hand and / or arm other than the finger, or a third person's hand and / or arm, and is converted by the converter 102.
  • a tactile stimulus is presented based on the generated vibration signal.
  • the vibrator of the vibration actuator 114 may be a voice coil vibrator, a piezoelectric element, or a vibration motor.
  • the vibration actuator 114 and the transducer 102 are configured as a wearable system, as shown in FIG. 2 described above, the vibration actuator 114 and the transducer 102 are configured as a tactile extension band that incorporates a vibrator and presents a processed tactile signal to the hand. May be.
  • a voice coil type vibrator such as Force Reactor AF, L-type manufactured by ALPS may be used as an actuator for reproducing the tactile sensation, and the tactile sensation may be affixed to the site.
  • a tech tile tool kit may be used as the vibration actuator 114.
  • the following non-patent literature may be referred to for details such as the frequency response characteristics of the Techtile toolkit (Masashi Nakatani et al. “Methodology for general dissemination of tactile expression and its practice through the Techtile Workshop” Japan Journal of Virtual Reality Society 19 (4), pp. 593-603, 2014-12-31).
  • FIG. 7 is a flowchart illustrating an example of a haptic expansion process in the haptic presentation system according to the present embodiment.
  • the skin vibration sensor 112 of the tactile sensation presentation system detects vibration transmitted through the skin of the user's finger and acquires a vibration signal (step SA-1).
  • the present tactile sensation presentation system transmits the vibration signal generated by the skin vibration sensor 112 to the converter 102 via a wired or wireless communication path (step SA-2).
  • the converter 102 of the present tactile sense presentation system converts the vibration signal for expansion (step SA-3).
  • the converter 102 may amplify the vibration signal to the conversion input level by the preamplifier 102a, pass only the vibration signal in a predetermined frequency band by the equalizer 102b, and perform signal amplification by the vibrator amplifier 102b. .
  • the present tactile sense presenting system is based on the vibration signal converted by the converter 102, and the vibration actuator 114 is mounted on the same finger provided with the skin vibration sensor 112 of the same user or on a finger or arm other than the finger.
  • the tactile sense of the user is expanded by presenting the tactile stimulus from (step SA-4).
  • the vibration actuator 114 is arranged closer to the fingertip side than the wrist joint of the hand to which the finger that directly contacts the object belongs, so that the fingertip sensation can be enhanced while directly handling the object.
  • FIG. 8 is a flowchart illustrating an example of a tactile transmission process in the tactile presentation system of the present embodiment.
  • the skin vibration sensor 112 of the present tactile sensation presentation system detects the vibration transmitted through the skin of the user's finger and acquires a vibration signal g (x) (step SB-). 1).
  • the present tactile sensation presentation system transmits the vibration signal generated by the skin vibration sensor 112 to the converter 102 via a wired or wireless communication path as in step SA-2 described above.
  • the converter 102 of the present tactile sensation presentation system uses the equalizer 102b to multiply the vibration signal g (x) by the inverse function f ⁇ 1 of the skin transfer function of the receiver to subtract the vibration propagation characteristics. (Step SB-2).
  • the inverse function By applying the inverse function, an unmanned vibration signal f ⁇ 1 (g (x)) that does not depend on individual differences or finger states can be obtained.
  • the transmitting-side terminal of the tactile sensation presentation system transmits the vibration signal f ⁇ 1 (g (x)) that has been made anonymous by the converter 102 via a wired or wireless transmission path (step SB-3). )
  • the receiving side terminal of the tactile sensation presentation system receives the transmitted vibration signal f ⁇ 1 (g (x)) via a wired or wireless transmission path (step SB-4).
  • the vibration actuator 114 of the present tactile sensation presentation system presents a tactile stimulus to the recipient based on the received vibration signal f ⁇ 1 (g (x)) (step SB-5). Since the receiver's transfer function f is applied to the input stimulus at the receiver, the receiver's transfer functions f and f -1 cancel each other, and a tactile stimulus g (x) is generated on the receiver's skin. become. Therefore, the vibration generated on the skin can be made the same between different people, and tactile sensation can be shared.
  • Example 1 regarding the unmannedization of the tactile sense presentation system of the present embodiment will be described below.
  • the amplifier 102a, the equalizer 102b, the vibrator amplifier 102c, and the vibrator 114 that amplify the sensor signal are used.
  • a sensor is directly connected to the input of the sensor amplifier 102a or a recorded sensor signal is input.
  • the equalizer 102b was used to apply an inverse function of the measured transfer function. Although it simply uses a vibrator and does not reproduce skin propagation vibration or tactile sensation with high accuracy, it can be said to be a tactile sensation presentation system capable of relative evaluation. In the experiment, since two types of tactile sensations are presented simultaneously for comparison, another set of equalizer 102b, vibrator amplifier 102c, and vibrator 114 is prepared so that the two vibrations can be compared simultaneously.
  • the sensor output signal obtained when another person put the skin vibration sensor 112 on the finger in advance and traced the roughness specimen was recorded and used for presentation.
  • a similar tactile sensation can be obtained even with different contact loads. It was evaluated whether it could be obtained.
  • the transfer function is p when the load is 0.25N and q when the load is 1N, and the inverse function is set relative to the equalizer 102b based on the measurement result, with a gain of ⁇ 75 dB as a reference.
  • the subject gives different load conditions on both the left and right sides using both hands, puts them in different transfer functions (p or q), and gives a tactile sense of the sensor output signal of another person, which is multiplied by the inverse transfer function using the equalizer 102b. did.
  • the combination is when the inverse skin transfer function of the skin is applied (p ⁇ p ⁇ 1 and q ⁇ q ⁇ 1 ) and vice versa (p ⁇ q ⁇ 1 and q ⁇ p ⁇ 1 ).
  • the following two conditions were performed. In the present embodiment, the subject answers which hand vibration is greater. Each condition was answered 10 times. Prior to the experiment, the gain of the vibrator amplifier 102c was adjusted in advance so that there was no difference when the same vibration was applied under the same load condition so that there was no difference between left and right. Further, since the measured transfer function is only the index finger, the vibrator 114 is touched with only the index finger with the same posture and load (0.25 N or 1 N), and the vibration is compared.
  • FIG. 9 is a graph showing experimental results for six subjects.
  • FIG. 9 shows the number of times that each subject answered that the vibration was large under the respective conditions.
  • FIG. 9A the vibrations that are said to be large are not biased to one side but are scattered.
  • FIG. 9B most subjects answered that q ⁇ p ⁇ 1 was larger. From the experimental results shown in FIG. 9 (a), it was found that although there are individual differences in the number of responses, there are variations in responses and it is difficult to compare the strengths of left and right vibrations. Therefore, by multiplying the inverse function, it was confirmed that the same degree of vibration was transmitted to the left and right fingers.
  • this method does not reproduce the trace or the spatial distribution of the stimulus and does not exactly reproduce the tactile touched by the other party. It is possible to make a relative evaluation, such as by experiencing and comparing with a partner, and is considered to be effective as a tactile transmission.
  • Example 2 relating to the extension of the tactile sense by the tactile sense presenting system according to the present embodiment will be described below.
  • the subject's subjective evaluation was performed, and an experiment was conducted to determine whether or not the haptic enhancement was actually caused as a sensation.
  • the experiment was conducted according to the following procedure. First, the experiment was performed using a constant method, and the subject was made to wear the system shown in FIG. Next, I wore noise-cancelling headphones and blindfolds that were carrying white noise, blocking my vision and hearing.
  • And sandpaper 120, 150, 180, 240, 320, 400, 600 was used as a comparative stimulus, and 240 was used as a standard stimulus. Subjects were asked to answer whether the comparison stimulus was smooth or not with respect to the standard stimulus. The number of examinations was 5 times from the standard stimulus and 5 times from the reference stimulus, and 5 times from the reference stimulus to each of the comparative stimuli (120-600). A total of 70 trials were performed as one section. A total of 140 trials were performed in two sections with or without a tactile extension system.
  • FIG. 10 is a graph showing the results of subjective evaluation experiments based on the presence or absence of a tactile extension system.
  • the horizontal axis indicates the roughness (count) of sandpaper, and the vertical axis indicates the probability that the comparative stimulus is smoother.
  • the vertical axis approaches 1 as the comparative stimulus responds smoothly to the standard stimulus (240th). Accordingly, it is shown that the value less than 240th is correct as 0, and the value greater than 240 is 1 as correct.
  • the vertical line of the experimental result indicates the discrimination threshold, and the left line can be perceived with a probability of 25%, and the right line can be perceived with a probability of 75%. That is, it is shown that the roughness and smoothness can be perceived more finely as the half of the difference (discrimination threshold) obtained from this is smaller.
  • the discrimination threshold obtained in this experiment was 118 when there was no tactile extension system and 84 when there was a tactile extension system. Therefore, it was confirmed that the tactile sensation extension can be performed because the discrimination threshold is lower in the tactile sensation extension system and the roughness and smoothness can be perceived finely.
  • the tactile sensation presentation system may be configured to be integrated so as to perform processing in a stand-alone form, or may be configured to perform processing upon request and return the processing result to the terminal.
  • all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • each device of the tactile sensation presentation system in particular, the processing functions performed by the converter 102, are all interpreted or executed by a CPU (Central Processing Unit) and the CPU. It may be realized by a program or hardware based on wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later, and a tactile sensation presentation system as necessary.
  • OS Operating System
  • the computer program may be stored in an application program server connected to the tactile presentation system via an arbitrary network, and may be downloaded in whole or in part as necessary. .
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” includes a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code.
  • program is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program typified by an OS (Operating System). Including those that achieve the function.
  • OS Operating System
  • a well-known configuration and procedure can be used for a specific configuration for reading a recording medium, a reading procedure, an installation procedure after reading, and the like in each device described in the embodiment.
  • the present invention may be configured as a program product in which a program is recorded on a computer-readable recording medium that is not temporary.
  • Various databases and the like stored in the tactile sensation presentation system are memory devices such as RAM and ROM, fixed disk devices such as hard disks, flexible disks, and storage means such as optical disks. Programs, tables, databases, web page files, and the like.
  • the tactile sensation presentation system may be configured as an information processing apparatus such as a known personal computer or workstation, or may be configured by connecting any peripheral device to the information processing apparatus. Further, the tactile sensation presentation system may be realized by installing software (including programs, data, and the like) that realizes the method of the present invention in the information processing apparatus.
  • the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
  • a tactile sensation presentation system As described above in detail, according to the present invention, a tactile sensation presentation system, a tactile sensation presentation method, and a tactile sensation presentation program capable of expanding or transmitting a tactile sensation while a user directly touches an object.
  • a recording medium can be provided, which has industrial utility.

Abstract

利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、利用者の指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、皮膚振動センサにより読み取られた振動信号を、拡張または伝達のために変換する変換器と、利用者の皮膚振動センサが設けられた同じ指もしくは当該指以外の手腕または第三者に設けられ、変換器により変換された振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。

Description

触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム
　本発明は、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムに関する。
　従来、物体の触感を検出して利用者に触覚を呈示する触覚呈示デバイスが開発されている。情報通信技術においては、五感の中でも視覚や聴覚を利用したインターフェイスが先行しているが、触覚を用いることで、より直感的な操作が可能になると期待されている。
　例えば、非特許文献１には、凹凸形状のシートを介して指で物体表面をなぞることで、人が知覚することが困難な微小な凹凸の刺激を増幅させる触覚コンタクトレンズが開示されている。
　また、非特許文献２には、鉗子先端にセンサを取り付けることで、内視鏡手術時に鉗子を通じて臓器の触感を実時間で手に呈示する触覚呈示システムが開示されている。
Ｒ．　Ｋｉｋｕｕｗｅ，　Ａ．　Ｓａｎｏ，　Ｈ．　Ｍｏｃｈｉｙａｍａ，　Ｎ．　Ｔａｋｅｓｕｅ，　Ｈ．　Ｆｕｊｉｍｏｔｏ，　"Ｅｎｈａｎｃｉｎｇ　Ｈａｐｔｉｃ　Ｄｅｔｅｃｔｉｏｎ　ｏｆ　Ｓｕｒｆａｃｅ　Ｕｎｄｕｌａｔｉｏｎ"　ＡＣＭ　Ｔｒａｎｓ．　ｏｎ　Ａｐｐｌｉｅｄ　Ｐｅｒｃｅｐｔｉｏｎ　（ＴＡＰ），　Ｖｏｌ．　２　１：４６－６７，　２００５． Ｔａｎａｋａ，　Ｙｏｓｈｉｈｉｒｏ，　ｅｔ　ａｌ．　"Ｌｕｍｐ　ｄｅｔｅｃｔｉｏｎ　ｗｉｔｈ　ｔａｃｔｉｌｅ　ｓｅｎｓｉｎｇ　ｓｙｓｔｅｍ　ｉｎｃｌｕｄｉｎｇ　ｈａｐｔｉｃ　ｂｉｄｉｒｅｃｔｉｏｎａｌｉｔｙ"　Ｗｏｒｌｄ　Ａｕｔｏｍａｔｉｏｎ　Ｃｏｎｇｒｅｓｓ　（ＷＡＣ），　２０１４．　ＩＥＥＥ，　２０１４．
　しかしながら、従来の触覚呈示デバイスは、シートや鉗子を介して物体に接触する必要があり、直接、指で対象に触れることができず、自然な指による把持や操作が阻害される、という問題点を有していた。
　本発明は上記の問題点に鑑みてなされたものであり、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムを提供するものである。
　このような目的を達成するため、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。
　また、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。
　また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする。
　また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする。
　また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記変換器は、前記振動信号を、増幅、変調、および／または、前記指の振動伝播特性を差し引くことを特徴とする。
　また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする。
　また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする。
　また、本発明の触覚呈示方法は、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を含むことを特徴とする。
　また、本発明の触覚呈示プログラムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を実行させることを特徴とする。
　本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし第三者に伝達することができる、という効果を奏する。より具体的には、第一関節までの指腹部にデバイスを装着せず、第１関節から第３関節の間または爪に皮膚振動センサを設けたので、利用者が直接、物体を把持したり操作したりすることを妨げることがない。したがって、利用者は、自身の指を使って物体を操作等しながら、その感覚を拡張したり第三者に伝達したりすることができる。
　例えば、指先に何も装着せず触覚を拡張する本発明によれば、眼鏡で視力を拡張するように、拡張現実として、人の触覚能力を拡張することができる。また、生の指で対象に触れた触覚を第三者に伝達する本発明によれば、一方の人の触覚を他方の人に伝えることができ、テレコミュニケーション等に有用である。また、スマートフォン等のタッチパネル上で指先をセンシングして同じ指先に触覚フィードバックを提示するものとは異なり、本発明は、直接、物体を把持したり操作したりする指先を、センシングや提示等のために妨げることがない、という効果を奏する。
図１は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図である。 図２は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。 図３は、ＰＶＤＦフィルムを用いた皮膚振動センサ１１２の例を示す図である。 図４は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。 図５は、ＰＶＤＦが加えられた力Ｆによって電荷を生じるモデルを示す図である。 図６は、イコライザ１０２ｂにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。 図７は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。 図８は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。 図９は、６名の被験者に対する実験結果を示すグラフ図である。 図１０は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。
　以下に、本発明の本実施の形態にかかる触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、同一人物への触覚拡張として説明した内容を、他人への触覚伝達に用いてもよく、反対に、他人への触覚伝達として説明した内容を、同一人物への触覚拡張に用いてもよいものである。
　以下、まず、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
［触覚呈示システムの構成］
　図１に示すように、本実施の形態にかかる触覚呈示システムは、皮膚振動センサ１１２と、変換器１０２と、振動アクチュエータ１１４を、有線または無線にて接続して構成される。なお、リアルタイムに触覚の入出力を行わない場合、各部は、一時的に任意の通信路を介して通信可能に接続される構成となっていてもよい。例えば、ＵＳＢメモリ等の記録媒体で、一時的に各部が触覚信号データを授受できるように構成されてもよい。ここで、図２は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。
　図２に示すように、皮膚振動センサ１１２は、指の第１関節から第３関節までの間に設置されており、物体と直接接触する指先を避けて配置される。この例では、変換器１０２および振動アクチュエータ１１４は、腕時計型ウェアラブル端末の同一筐体に収められており、皮膚振動センサ１１２で発生した振動信号（電位の変化等）を有線にて取得できるよう構成されている。なお、この装着例では、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、指先の感覚が増強したように感じさせる。これは、手首関節は、振動の伝達を吸収しやすいため、手首関節より中枢側ではなく抹消側の方が、振動アクチュエータ１１４の振動が指先側に伝わるためと考えられる。あるいは、指と掌の触覚感覚は、腕に比べて、脳内マップで、近い領域に割り当てられているためとも考えられる。なお、図示の例では、振動アクチュエータ１１４は、手の甲側に配置しているが、これに限られず、手の内側（手相側）に配置してもよい。
　これら触覚呈示システムの構成のうち、皮膚振動センサ１１２は、指の皮膚を介して伝達された振動の信号を取得する振動センサである。例えば、皮膚振動センサ１１２は、物体に接触する指の爪に付けたコンタクトマイクであってもよい。エレクトレットコンデンサー等のコンタクトマイクを爪に固着させることにより、空気振動（音）の信号が混雑することを防ぎながら、物体接触時の振動を検出することができる。
　また、別の実施の形態において、皮膚振動センサ１１２は、ポリフッ化ビニリデン（ＰＶＤＦ：ＰｏｌｙＶｉｎｙｌｉｄｅｎｅ　ＤｉＦｌｕｏｒｉｄｅ）フィルムを、第１関節から第３関節の間の指腹部に巻き付けることで、圧電効果により振動信号を得るセンサであってもよい。ＰＶＤＦフィルムを巻き付けた皮膚振動センサ１１２は、指先や対象物体と直接干渉することなく、指先から伝播する皮膚振動を中節部において検出することができる。ここで、図３は、ＰＶＤＦフィルムを用いた皮膚振動センサ１１２の例を示す図（上図：手の平側写真、下図：手の甲側写真）である。
　図３に示すように、この例では、センサはベルト状をしており、ＰＶＤＦフィルムを第１関節と第２関節に巻き付けられるようになっている。ＰＶＤＦフィルムは、高分子圧電体の一種であり、ＰＶＤＦフィルムが曲げ変形することにより出力電圧が得られる。そのため、皮膚に付けることで皮膚の振動を捉え、指全体の運動には反応せず、なぞり運動などの早い触動作中でも皮膚を伝搬した振動の計測が可能となる。
　ここで、触覚刺激を再現するため、皮膚振動センサ１１２のモデルについて説明する。皮膚振動センサ１１２のモデルとして、指先に入力された振動からセンサ出力までの伝達関数Ｆ（ｓ）が分かれば、センサにて取得した振動信号を、振動子を含む振動アクチュエータ１１４にて再現することができ、後述する変換器１０２にて、触覚の拡張と伝達のために用いることができる。ここで、図４は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。
　図４に示すように、指先からセンサ装着部への皮膚振動伝搬には、マス（ｍ）・バネ（ｋ）・ダンパ（ｃ）からなるモデルを考えることができる。指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）は、以下の式で表すことができる。ここで、ｓはラプラス演算子であり、ａは１より小さい係数である。
Figure JPOXMLDOC01-appb-M000001
　ＰＶＤＦフィルムは非常に薄く、曲げにより大きな電荷を発生する。ここで、図５は、ＰＶＤＦが加えられた力Ｆによって電荷を生じるモデルを示す図である。図５に示すように、ＰＶＤＦフィルムは指に巻き付けられているが、その厚みは指に対して十分薄く、両端支持の条件として、皮膚とＰＶＤＦフィルムの関係を単純なはりの曲げ問題と仮定して皮膚振動伝播関数を構築してもよい。上述した指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）、上述の仮定により求められる、皮膚振動からＰＶＤＦフィルムに生じる電荷までの伝達関数Ｐ（ｓ）、発生した電荷から計測される電圧までの伝達関数Ｈ（ｓ）の３つを掛け合わせることで、最終的な指先からセンサ出力までの伝達関数Ｆ（ｓ）を求めることができる（詳細は、「田中由浩ほか『ＰＶＤＦフィルムを用いたウェアラブル皮膚振動センサのモデル化』Ｎｏ．１５－２　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１５　ＪＳＭＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ｍｅｃｈａｔｒｏｎｉｃｓ，　Ｋｙｏｔｏ，　Ｊａｐａｎ，　Ｍａｙ　１７－１９，　２０１５　２Ａ２－Ｘ０６」参照）。ここで、ｄ３１は圧電定数であり、ｔ，ｂ，ｌはフィルムの厚み，幅，長さである。ＲはＰＶＤＦフィルム計測器の抵抗であり、Ｃは静電容量である。
Figure JPOXMLDOC01-appb-M000002
　一例として、上記の皮膚振動伝播関数を後述の変換器１０２に適用することで、指先に入力された振動からセンサ出力までをセンサ計測値から再現することができる（モデル適用例については後述する）。なお、ＰＶＤＦフィルムの実装にあたり、以下の非特許文献を参考にしてもよい。「Ｙ．Ｔａｎａｋａ　ｅｔ　ａｌ．“Ｗｅａｒａｂｌｅ　Ｓｋｉｎ　Ｖｉｂｒａｔｉｏｎ　Ｓｅｎｓｏｒ　Ｕｓｉｎｇ　ａ　ＰＶＤＦ　Ｆｉｌｍ，”Ｉｎ　Ｗｏｒｌｄ　Ｈａｐｔｉｃｓ　Ｃｏｎｆｅｒｅｎｃｅ，　ｐｐ．　１４６－１５１，　２０１５．」
　再び図１に戻り、触覚呈示システムの構成のうち、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、拡張または伝達のために変換する手段である。一例として、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、増幅、変調、および／または、指の振動伝播特性を差し引いてもよい。典型的あるいは平均的な人の指の皮膚振動伝播関数の逆関数を掛け合わせて、指の振動伝播特性を差し引くことで、皮膚で生じる振動が実際にものを触った時の振動に近いものなり、臨場感が向上する効果が得られる。ここで、本実施の形態において、「拡張」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物Ａの手および／または腕にフィードバックすることをいう。なお、本実施の形態において、「拡張」には、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物の同じ指にフィードバックすることも含む。また、本実施の形態において、「伝達」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、別人物Ｂの手および／または腕に出力することで、利用者Ａから別人Ｂへ触覚情報を伝えることをいう。なお、増強または加工に関し、以下の非特許文献に記載の触感伝送方法を用いてもよい（Ｋ．Ｍｉｎａｍｉｚａｗａ　ｅｔ　ａｌ．“ＴＥＣＨＴＩＬＥ　ｔｏｏｌｋｉｔ：　ａ　ｐｒｏｔｏｔｙｐｉｎｇ　ｔｏｏｌ　ｆｏｒ　ｄｅｓｉｇｎｉｎｇ　ｈａｐｔｉｃ　ｍｅｄｉａ，”　ＡＣＭ　ＳＩＧＧＲＡＰＨ　２０１２　Ｅｍｅｒｇｉｎｇ　Ｔｅｃｈｎｏｌｏｇｉｅｓ，　２０１２．）。
　ここで、変換器１０２は、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引く無人称化を行ってもよい。本実施の形態において、「無人称化」とは、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引くことで、任意の人に伝達可能な無人称的な触覚情報を取り出すことをいう。すなわち、利用者Ａの指から検出した振動は、その指の長さや柔らかさ等その人の指の特性（すなわち「振動伝播特性」）を有しており、利用者Ａの一人称的な触覚情報となっている。そのため、利用者Ａの指先に既知の振動を与え、Ａの指中節の皮膚振動センサ１１２の測定データと比較することで、利用者Ａの指先から指中節までの振動伝搬特性を計測し、任意のセンサ情報から伝搬特性を逆算することで、あらゆる人に伝達可能な一般化した触覚情報を取り出すことができる（詳細な実例については後述する）。
　ここで、変換器１０２は、図１に示すように、更に、プリアンプ１０２ａ、イコライザ１０２ｂ、および／または、振動子用アンプ１０２ｃを備えてもよい。
　このうち、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号である電気信号を増幅させる前置増幅器である。例えば、皮膚振動センサ１１２が前述のＰＶＤＦフィルムで構成される場合、圧電効果により電圧が発生するため電源が不要であるものの、出力させる電圧信号が弱い場合がある。このように、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号が弱い場合に、その振動信号を変換入力として扱えるレベルまで増幅してもよい。
　また、イコライザ１０２ｂは、皮膚振動センサ１１２からの振動信号の周波数特性を、拡張や伝達の目的に応じて適切化する補正回路である。一例として、イコライザ１０２ｂは、特定の周波数帯の振動信号を通過させるバンドパスフィルタであってもよく、振動信号を増強または変調する周波数フィルタであってもよい。例えば、イコライザ１０２ｂは、ヒトの触覚で知覚できる周波数帯域のみを通過させるフィルタであってもよい。また、イコライザ１０２ｂないしは変換器１０２は、振動信号を修飾するエフェクター機能を有してもよく、振動信号を遅らせるディレイ機能を有してもよく、振動信号のピッチを変更するピッチシフト機能を有してもよく、振動信号にホワイトノイズを付加することで触覚感覚的な増幅を引き起こしてもよい。
　ここで、イコライザ１０２ｂは、振動信号に対して皮膚伝達関数の逆関数を掛けることにより、利用者の振動伝搬特性を差し引く無人称化を行ってもよい。入力された振動に対して各人の皮膚で発生する振動には個人差があり、また、同一の人であっても、指の押しつけ力など指の状態を変えることで振動に差が生じる。上述した皮膚振動伝播関数を用いて定数を求め、その逆関数を掛ければ、個人差や指の状態に依存しない無人称化された振動信号を得ることができる。ここで、図６は、イコライザ１０２ｂにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。
　図６に示すように、振動を伝える送信側の伝達関数をｇ、振動を受け取る受信側の伝達関数をｆとし、入力刺激をｘとする。このとき、それぞれが得ている触覚は、ｇ（ｘ）およびｆ（ｘ）に基づくとする。皮膚振動センサ１１２を用いることで、ｇ（ｘ）が取得できる。ここでは、皮膚振動センサ１１２を用いることで既に受信側の受取手の皮膚の伝達関数ｆが求められているとする。このとき、受取手の皮膚伝搬振動をｇ（ｘ）にする、すなわち、送信側の利用者の皮膚伝播振動を、受信側の受取手の機械刺激と同一とし、触覚の共有を図る方法を以下に説明する。
　まず、イコライザ１０２ｂは、皮膚振動センサ１１２により読み取られた振動信号ｇ（ｘ）に対し、振動を受け取る人の伝達関数ｆの逆関数ｆ－１をかけた振動信号ｆ－１（ｇ（ｘ））を、受取手に送信する。そして、受信側の振動アクチュエータ１１４は、受信した振動信号ｆ－１（ｇ（ｘ））を出力する。受取手に発生する皮膚伝搬振動には、入力された刺激に対して、受取手の固有の伝達関数ｆがかかる。これによって、受取手の伝達関数ｆとｆ－１が相殺され、受取手の皮膚にｇ（ｘ）が生じることになる。このようにして、各人の皮膚の伝達関数を用いることで、皮膚上で発生する振動を同一にでき、触覚の共有化を図ることができる。なお、この例では、送信側の変換器１０２において、受取手の伝達関数ｆの逆関数ｆ－１を掛け合わせて送信したが、これに限られず、送信側の変換器１０２が、振動信号ｇ（ｘ）を送信して、受信側の変換器１０２において、自己（受取手）の伝達関数ｆの逆関数ｆ－１を、受信した振動信号ｇ（ｘ）に対して、触刺激出力前に掛け合わせもよいものである。
　再び図１に戻り、振動子用アンプ１０２ｂは、出力する振動アクチュエータ１１４の振動子に応じた振動信号（入力信号）の増幅を行う増幅器である。例えば、振動アクチュエータ１１４の振動子が、ボイスコイル型振動子か、ピエゾ素子か、バイブレーションモータかの種別の違いによって、電気信号に対する機械刺激の出力が異なるので、振動子の種類に応じて増幅や変調を行ってもよい。
　以上が変換器１０２の特徴である。なお、変換器１０２は、図示しない信号データの送受信のための通信手段や、信号データの入出力手段、信号データを記憶する記憶部や、信号データの変換以外の処理を行う制御部に接続されてもよい。例えば、通信手段として、通信制御インターフェイス部は、皮膚振動センサ１１２を少なくとも備えた送信側端末と、振動アクチュエータ１１４を少なくとも備えた受信側端末とを、有線または無線にて通信する制御を行う。通信は、インターネット等のネットワークを介した通信であってもよい。すなわち、通信制御インターフェイス部は、他の端末と、通信回線（有線、無線を問わない）を介して信号データを通信する機能を有する。また、入出力制御インターフェイス部は、ＵＳＢメモリ等の記録媒体と接続して信号データを授受する制御を行う。記憶部は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。また、制御部は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行ってもよい。
　図１において、触覚呈示システムの構成のうち、振動アクチュエータ１１４は、触刺激を呈示する振動子を含むアクチュエータである。ここで、振動アクチュエータ１１４は、皮膚振動センサ１１２が設けられた同じ指、あるいは、当該指以外の手および／もしくは腕、または第三者の手および／または腕に設けられ、変換器１０２により変換された振動信号に基づいて触刺激を呈示する。なお、振動アクチュエータ１１４と皮膚振動センサ１１２を同じ指に設ける場合、前者は第３関節に設置し後者は第２関節に設置するなど、同じ指において、指先以外の別の場所で、センシングと提示を行ってもよい。ここで、振動アクチュエータ１１４の振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであってもよい。ここで、振動アクチュエータ１１４や変換器１０２は、ウェアラブルなシステムとして構成するため、上述した図２のように、振動子を内蔵し、加工された触覚信号を手に提示する触覚拡張バンドとして構成されてもよい。
　一例として、触感を再生するアクチュエータとして、ＡＬＰＳ社製Ｆｏｒｃｅ　Ｒｅａｃｔｏｒ　ＡＦ，Ｌ－ｔｙｐｅ等のボイスコイル型振動子を用いて、触感を呈示する部位に貼付してもよい。なお、振動アクチュエータ１１４として、テクタイルツールキットを用いてもよい。テクタイルツールキットの周波数応答特性等の詳細について、以下の非特許文献を参照してもよい（仲谷正史ほか『触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践』日本バーチャルリアリティ学会論文誌１９（４），ｐｐ．５９３－６０３，２０１４－１２－３１）。
　以上で、本実施の形態の触覚呈示システムの各構成の説明を終える。
［触覚呈示システムの処理］
　次に、このように構成された本実施の形態における触覚呈示システムの処理の一例について、以下に図７および図８を参照して詳細に説明する。
（触覚拡張処理）
　図７は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。
　図７に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号を取得する（ステップＳＡ－１）。
　そして、本触覚呈示システムは、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する（ステップＳＡ－２）。
　そして、本触覚呈示システムの変換器１０２は、振動信号を拡張用に変換する（ステップＳＡ－３）。例えば、変換器１０２は、プリアンプ１０２ａにより振動信号を変換入力レベルまで増幅し、イコライザ１０２ｂにより所定の周波数帯の振動信号のみを通過させ、振動子用アンプ１０２ｂにて、信号増幅を行ってもよい。
　そして、本触覚呈示システムは、変換器１０２により変換された振動信号に基づいて、同一利用者の皮膚振動センサ１１２が設けられた同じ指もしくは当該指以外の手指や腕に装着された振動アクチュエータ１１４から触刺激を呈示することにより、利用者の触覚の拡張を行う（ステップＳＡ－４）。ここで、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、直接物体を扱いながら、指先の感覚を増強させることができる。
　以上が、本触覚呈示システムの触覚拡張処理の一例である。つづいて、本触覚呈示システムの触覚伝送処理の一例について以下に説明する。
（触覚伝送処理）
　図８は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。
　図８に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号ｇ（ｘ）を取得する（ステップＳＢ－１）。なお、本触覚呈示システムは、上述したステップＳＡ－２と同様に、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する。
　そして、本触覚呈示システムの変換器１０２は、イコライザ１０２ｂにより、振動信号ｇ（ｘ）に対して、受取手の皮膚伝達関数の逆関数ｆ－１を掛けることにより、振動伝搬特性を差し引く無人称化処理を行う（ステップＳＢ－２）。逆関数を掛けることにより、個人差や指の状態に依存しない無人称化された振動信号ｆ－１（ｇ（ｘ））を得ることができる。
　そして、本触覚呈示システムの送信側端末は、有線または無線の伝送路を介して、変換器１０２により無人称化された振動信号ｆ－１（ｇ（ｘ））を送信する（ステップＳＢ－３）
　そして、本触覚呈示システムの受信側端末は、有線または無線の伝送路を介して、送信された振動信号ｆ－１（ｇ（ｘ））を受信する（ステップＳＢ－４）。
　そして、本触覚呈示システムの振動アクチュエータ１１４は、受信した振動信号ｆ－１（ｇ（ｘ））に基づいて、受取手に対し触刺激を呈示する（ステップＳＢ－５）。受取手では、入力された刺激に対して、受取手の伝達関数ｆがかかるので、受取手の伝達関数ｆとｆ－１が相殺され、受取手の皮膚に触刺激ｇ（ｘ）が生じることになる。したがって、別の人同士で、皮膚上に発生する振動を同一にすることができ、触覚の共有化を図ることができる。
　以上が、本実施の形態の触覚呈示システムの処理の説明である。
［実施例１］
　ここで、本実施の形態の触覚呈示システムの無人称化に関する実施例１について以下に説明する。
　本実施例では、図１の変換器１０２の各部で示したように、センサ信号を増幅するアンプ１０２ａ、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、ならびに、振動子１１４を用いた。センサ用アンプ１０２ａの入力には、センサを直接接続するか、あるいは、記録したセンサ信号を入力した。イコライザ１０２ｂは、計測した伝達関数の逆関数をかけるために使用した。単純に振動子を用いており、高精度に皮膚伝搬振動や触感を再現するものではないが、相対評価が可能な触覚呈示システムといえる。なお、実験では比較のために同時に２種類の触覚呈示を行うことから、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、振動子１１４をもう１セット用意し、２つの振動を同時に比較できるようにした。
（実験方法）
　本実施例では、他の人が予め皮膚振動センサ１１２を指に装着して粗さ試片をなぞった際に得られたセンサ出力信号を記録し、呈示に用いた。また、他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で指先の接触荷重が異なる条件で触覚を比較し、上記の手法を用いることで、異なる接触荷重でも似た触覚が得られるかを評価した。
　まず、皮膚伝搬振動の伝達関数を求めるため、指先にスイープ振動（５－５００Ｈｚ，正弦波，１０ｓ）を与え、入力振動の加速度とセンサ出力を計測した。なお、指先の荷重条件は、０．２５Ｎと１Ｎとした。被験者１人あたりそれぞれ３回ずつ計測し、平均した伝達関数を用いた。ここで、入力振動の加速度とセンサ出力からは、皮膚伝搬振動に加え、センサ１１２の物理・電気特性も含んだ伝達関数を計測できるが、イコライザ１０２ｂには、この伝達関数の逆関数を設定した。これは、呈示用のセンサ出力信号にも同様に、センサ１１２による伝達関数が含まれているためである。ただし、本実施の形態において上述したモデルによれば、定性的には影響しないが、定量的にはセンサの伝達関数にも個人差が含まれると考えられる。しかしながら、量的に正確な皮膚伝搬振動の再現ではなく、振動子を用いた相対的な比較を可能にする伝達を試みているため、本実施例では、これを無視して計測した伝達関数をそのまま利用した。
　伝達関数は、荷重が０．２５Ｎのときをｐ、１Ｎのときをｑとし、逆関数は計測結果よりゲイン：－７５ｄＢを基準として、イコライザ１０２ｂを相対的に設定した。被験者は両手を用いて、左右で異なる荷重条件を与え、異なる伝達関数（ｐかｑ）の状態にし、これにイコライザ１０２ｂを用いて逆伝達関数をかけた他の人のセンサ出力信号を触覚呈示した。
　組み合せは、荷重をかけている皮膚の逆伝達関数を使用する場合（ｐ・ｐ－１とｑ・ｑ－１）、および、その逆の場合（ｐ・ｑ－１とｑ・ｐ－１）の２条件について行った。本実施例では、被験者はどちらの手の振動が大きいかを回答する。各条件について１０回ずつ回答してもらった。なお、実験の前に左右の違いがないように同じ荷重条件で同じ振動を与えた際に違いがないように、予め振動子用アンプ１０２ｃのゲインを調整した。また、計測した伝達関数は、人差し指のみのため、振動子１１４を人差し指のみで同じ姿勢、荷重（０．２５Ｎまたは、１Ｎ）で触ってもらい、振動を比較してもらうようにした。
（実験結果および考察）
　図９は、６名の被験者に対する実験結果を示すグラフ図である。図９では、各被験者について、それぞれの条件において振動が大きいと答えた回数を示している。図９（ａ）では、大きいと答えた振動が一方に偏らず、ばらついている。一方、図９（ｂ）においてはほとんどの被験者がｑ・ｐ－１の方が大きいと答えた。実験結果の図９（ａ）から回答数に個人差はあるが、回答にばらつきがあり、左右の振動の強弱を比べることが困難であることが分かった。したがって、逆関数を掛け合わせることにより、左右の指には同程度の振動が伝わっていると確かめられた。
　なお、本手法は、なぞりの再現や刺激の空間分布を再現しておらず厳密に相手が触った触覚を再現するものではないが、振動子を用いて、一旦自分の触覚を同様に振動子で体感し、相手と比較するなど、相対的評価を可能にするものであり、触覚の伝達として効果があると考えられる。
　ここで、図９（ｂ）では、回答がｑ・ｐ－１の方が大きいと偏っており、伝達関数の強度から妥当な結果といえる。この原因として、今回の実験に用いた伝達関数は、計測結果から周波数によっても大きさは異なるが、全体として強度は│ｐ│＜│ｑ│となっており、このことから│ｐ│－１＞│ｑ│－１といえる。したがって、ｑ・ｐ－１の組み合せの振動は、ｐ・ｑ－１より大きくなると考えられる。以上より、本手法で自分の伝達関数を変化させて同程度の触覚を感じ取れていると確かめられたことから、相手の皮膚伝搬振動に変換できるとわかった。
（まとめ）
　本実施例では、自身の皮膚の逆関数をかけることにより、自分の皮膚伝搬振動を相手の皮膚伝搬振動に変換できることが分かった。他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で押しつけ力による自分の伝達関数の変化を利用して振動子を用いた触覚伝達の実験を行った。したがって、この結果は、相手の皮膚伝搬振動への変換にも応用できると考えられる。
［実施例２］
　ここで、本実施の形態の触覚呈示システムによる触覚の拡張に関する実施例２について以下に説明する。
　本実施例では、図２に示した触覚拡張を図る構成において、被験者の主観評価を行い、実際に感覚として触覚拡張が引き起こされたか否かを実験した。
　以下に示す手順にて実験を実施した。まず、実験は、恒常法を用いて行い、被験者には図２のシステムを身につけさせた。次に、ホワイトノイズを流しているノイズキャンセリングヘッドフォンと目隠しを身につけ、視覚と聴覚を遮断した。
　そして、紙やすり１２０，１５０，１８０，２４０，３２０，４００，６００番手を比較刺激とし、２４０番手を標準刺激として使用した。被験者には、標準刺激に対して、比較刺激が滑らかか否かを二件法により回答させた。検査回数は、標準刺激から比較刺激を５回、比較刺激から標準刺激を５回試行し、各比較刺激（１２０～６００番手）に対して行い、計７０回の試行を１セクションとして実施した。そして、触覚拡張システムの有無で２セクション、計１４０回の試行を実施した。
　図１０は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。横軸は、サンドペーパーの粗さ（番手）を示しており、縦軸は、比較刺激の方が滑らかだと回答した確率を示している。
　すなわち、標準刺激（２４０番手）に対して比較刺激が滑らかと回答すればするほど縦軸が１に近づく。したがって、２４０番手未満は０であるほど正しく、２４０番手より大きい場合は１であるほど正しいということを示している。
　さらに、図１０において、実験結果の縦線は、弁別閾を示しており、左側の線は２５％の確率では知覚でき、右側の線は７５％の確率で知覚できることを示している。すなわち、ここから得られた弁別の差の半分（弁別閾）が小さいほど細かく粗さ滑らかさを知覚できることを示している。
　図１０に示すように、本実験で得られた弁別閾は、触覚拡張のシステムが無い場合は、１１８であり、触感拡張のシステムがある場合は、８４であった。したがって、触感拡張のシステムがあった方が弁別閾が低く、細かく粗さと滑らかさを知覚できていることから、触感の拡張が実施できることが確かめられた。
　以上で、本実施例の説明を終える。
［他の実施の形態］
　さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
　例えば、触覚呈示システムは、スタンドアローンの形態で処理を行うよう一体として構成されてもよく、あるいは、要求に応じて処理を行い、その処理結果を当該端末に返却する構成としてもよい。
　また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
　このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
　また、触覚呈示システムに関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
　例えば、触覚呈示システムの各装置が備える処理機能、特に変換器１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて触覚呈示システムに機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶部などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
　また、このコンピュータプログラムは、触覚呈示システムに対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
　また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
　また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。
　触覚呈示システムに格納される各種のデータベース等は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
　また、触覚呈示システムは、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、触覚呈示システムは、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
　更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
　以上詳述に説明したように、本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、ならびに、記録媒体を提供することができ、産業上の有用性がある。
　例えば、本発明を用いることにより、高齢や障害により触覚機能が低下あるいは喪失した際に、感覚機能を回復する福祉医療機器、製品検査において細かな傷やテクスチャの違いの判別を容易にするような支援機器、身の回りのモノの触覚が自在に変わるようなエンターテイメント機器、子どもがモノに積極的に触れることを促進するような知育ツールの開発等に応用することができる。
　１０２　変換器
　１０２ａ　プリアンプ
　１０２ｂ　イコライザ
　１０２ｃ　振動子用アンプ
　１１２　皮膚振動センサ
　１１４　振動アクチュエータ

Claims (9)

  1. 　利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、
    　前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
    　前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、
    　前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
    　を少なくとも備えたことを特徴とする、触覚呈示システム。
  2. 　利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、
    　前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
    　前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、
    　前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
    　を少なくとも備えたことを特徴とする、触覚呈示システム。
  3. 　請求項１または２に記載の触覚呈示システムにおいて、
    　前記皮膚振動センサは、
    　ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする、触覚呈示システム。
  4. 　請求項１乃至３のいずれか一つに記載の触覚呈示システムにおいて、
    　前記振動子は、
    　前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする、触覚呈示システム。
  5. 　請求項１乃至４のいずれか一つに記載の触覚呈示システムにおいて、
    　前記変換器は、
    　前記振動信号を、増幅、変調、および／または、指の振動伝播特性を差し引くことを特徴とする、触覚呈示システム。
  6. 　請求項１または２に記載の触覚呈示システムにおいて、
    　前記皮膚振動センサは、
    　前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする、触覚呈示システム。
  7. 　請求項１乃至６のいずれか一つに記載の触覚呈示システムにおいて、
    　前記振動子は、
    　ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする、触覚呈示ステム。
  8. 　利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、
    　前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、
    　前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
    　前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
    　を含むことを特徴とする、触覚呈示方法。
  9. 　利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、
    　前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、
    　前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
    　前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
    　を実行させるための触覚呈示プログラム。
     
PCT/JP2016/086803 2015-12-11 2016-12-09 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム WO2017099241A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017555171A JP6809712B2 (ja) 2015-12-11 2016-12-09 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-241953 2015-12-11
JP2015241953 2015-12-11

Publications (1)

Publication Number Publication Date
WO2017099241A1 true WO2017099241A1 (ja) 2017-06-15

Family

ID=59013331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086803 WO2017099241A1 (ja) 2015-12-11 2016-12-09 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム

Country Status (2)

Country Link
JP (1) JP6809712B2 (ja)
WO (1) WO2017099241A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027969A (ja) * 2018-08-09 2020-02-20 株式会社コスモ計器 振動検知器
CN112272814A (zh) * 2018-06-19 2021-01-26 索尼公司 信息处理设备、信息处理方法及程序
JP2021022004A (ja) * 2019-07-24 2021-02-18 トヨタ紡織株式会社 データ再生装置、データ生成装置、データ構造、データ再生方法、およびデータ生成方法
WO2021161358A1 (ja) * 2020-02-10 2021-08-19 日本電信電話株式会社 触覚刺激提示装置、および、触覚刺激提示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074076A (ja) * 1995-11-30 2012-04-12 Immersion Corp 触覚感覚を与えるための装置、システム、及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074076A (ja) * 1995-11-30 2012-04-12 Immersion Corp 触覚感覚を与えるための装置、システム、及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOMOYA YOSHIDA ET AL.: "Effect of Skin Vibration Direction on Output of Wearable Skin Vibration Sensor", JSME DAI 7 KAI MICRO NANO KOGAKU SYMPOSIUM KOEN RONBUNSHU, 21 October 2015 (2015-10-21) *
YASUTOSHI MAKINO ET AL.: "Touch Log: Estimation of Touch Objects by Measuring Vibration on Fingernail", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 52, no. 4, April 2011 (2011-04-01), pages 1644 - 1656 *
YOSHIHIRO TANAKA ET AL.: "Model of Wearable Skin Vibration Sensor Using a PVDF Film", JSME CONFERENCE ON ROBOTICS AND MECHATRONICS CONFERENCE DIGEST, 17 May 2015 (2015-05-17), pages 2A2 - X06 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272814A (zh) * 2018-06-19 2021-01-26 索尼公司 信息处理设备、信息处理方法及程序
JP2020027969A (ja) * 2018-08-09 2020-02-20 株式会社コスモ計器 振動検知器
JP2021022004A (ja) * 2019-07-24 2021-02-18 トヨタ紡織株式会社 データ再生装置、データ生成装置、データ構造、データ再生方法、およびデータ生成方法
JP7268519B2 (ja) 2019-07-24 2023-05-08 トヨタ紡織株式会社 データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法
WO2021161358A1 (ja) * 2020-02-10 2021-08-19 日本電信電話株式会社 触覚刺激提示装置、および、触覚刺激提示方法
JP7401797B2 (ja) 2020-02-10 2023-12-20 日本電信電話株式会社 触覚刺激提示装置、および、触覚刺激提示方法

Also Published As

Publication number Publication date
JP6809712B2 (ja) 2021-01-06
JPWO2017099241A1 (ja) 2018-10-25

Similar Documents

Publication Publication Date Title
WO2017099241A1 (ja) 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム
JP4769342B2 (ja) 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
US10599218B2 (en) Haptic conversion system using frequency shifting
US5619180A (en) Apparatus for providing vibrotactile sensory substitution of force feedback
EP3147753A1 (en) Haptic captcha
US9152232B2 (en) Haptic feedback device and haptic feedback method
Yao et al. A tactile enhancement instrument for minimally invasive surgery
JPWO2020003727A1 (ja) 復号装置、復号方法、プログラム
US20180188809A1 (en) Bioelectricity-based control method and apparatus, and bioelectricity-based controller
Erwin et al. A haptic feedback scheme to accurately position a virtual wrist prosthesis using a three-node tactor array
Gurari et al. Customization, control, and characterization of a commercial haptic device for high-fidelity rendering of weak forces
JP2017182495A (ja) 情報処理装置、情報処理方法及びプログラム
US11675439B2 (en) Method and arrangement for handling haptic feedback
Maeda et al. HapticAid: wearable haptic augmentation system for enhanced, enchanted and empathised haptic experiences
Maeda et al. Hapticaid: Haptic experiences system using mobile platform
WO2020045250A1 (ja) 触覚提示装置及び触覚提示システム
Hatzfeld et al. Design and evaluation of a measuring system for human force perception parameters
Campion The Synthesis of Three Dimensional Haptic Textures: Geometry, Control, and Psychophysics
JP6252845B2 (ja) 爪振動計測装置、爪振動モニタリングシステムおよび爪振動フィードバック提示システム
Schafer Touch amplification for human computer interaction
Kito et al. Basic design on blocking part of skin-propagated vibration for artificial hand
Ujitoko et al. Sinusoidal Vibration Source Localization in Two-Dimensional Space Around the Hand
JP7216084B2 (ja) 情報処理装置、プログラム、及び、センシングデバイス
JP5858228B2 (ja) 同定装置、同定方法および同定プログラム
Wiertlewski Reproduction of tactual textures: transducers, mechanics, and signal encoding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017555171

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16873134

Country of ref document: EP

Kind code of ref document: A1