WO2020003727A1 - 復号装置、復号方法、プログラム - Google Patents

復号装置、復号方法、プログラム Download PDF

Info

Publication number
WO2020003727A1
WO2020003727A1 PCT/JP2019/017709 JP2019017709W WO2020003727A1 WO 2020003727 A1 WO2020003727 A1 WO 2020003727A1 JP 2019017709 W JP2019017709 W JP 2019017709W WO 2020003727 A1 WO2020003727 A1 WO 2020003727A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptic
tactile
signal
channel
information
Prior art date
Application number
PCT/JP2019/017709
Other languages
English (en)
French (fr)
Inventor
修一郎 錦織
鈴木　志朗
裕史 竹田
松本　淳
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112019003217.8T priority Critical patent/DE112019003217T5/de
Priority to US17/254,792 priority patent/US20210266010A1/en
Priority to CN201980041844.1A priority patent/CN112313604A/zh
Priority to JP2020527237A priority patent/JPWO2020003727A1/ja
Publication of WO2020003727A1 publication Critical patent/WO2020003727A1/ja
Priority to JP2023084097A priority patent/JP2023116488A/ja
Priority to US18/481,416 priority patent/US20240030936A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code

Definitions

  • the present technology relates to a decoding device that decodes an encoded haptic signal, a method thereof, and a program.
  • tactile presentation means generating a tactile stimulus.
  • a touch sensation of a button is artificially created by vibrating a panel (or a housing) at the time of a touch operation of the panel to give a tactile stimulus to a finger.
  • a tactile presentation device is incorporated in a headphone housing, and a tactile stimulus is also given in parallel with music reproduction to emphasize heavy bass. 2.
  • a tactile presentation device installed in a controller in response to a user operation.
  • a tactile stimulus is provided by a tactile presentation device installed in a seat according to a scene in a movie theater, a theme park, or the like, thereby improving the sense of reality of the visitors.
  • Patent Literature 1 discloses a technique for generating a haptic signal based on an audio signal instead of generating haptic signals representing a haptic stimulus pattern by sensing haptic information such as vibration.
  • a tactile reproduction system that reproduces tactile information
  • a plurality of tactile presentation devices are prepared to provide a tactile stimulation to a plurality of parts of a human body, or a tactile signal is communicated by wire or wireless.
  • the number of channels of the tactile signal also increases, which leads to an increase in data amount.
  • the processing load related to the haptic reproduction may increase, and transmission delay may be caused, which is not desirable.
  • the present technology has been made in view of the above circumstances, and has as its object to improve the efficiency of a tactile reproduction system by reducing the data amount of a tactile signal while ensuring reproducibility of a tactile sense.
  • the decoding device includes a decoding unit that decodes haptic coded data obtained by performing coding for compressing the amount of information using a higher-order perception of haptic signals with respect to a haptic signal.
  • the decoding unit decodes the haptic coded data that has been coded to compress the amount of information using phantom sensation.
  • the haptic encoded data includes use channel instruction information for indicating a use channel among three or more channels of the haptic signal, and the decoding unit performs It is desirable to output a tactile signal of the channel indicated by the channel instruction information.
  • the decoding device does not need to analyze the haptic signal and determine whether to use the phantom sensation or not, and the decoding device includes the phantom sensation in the haptic encoded data.
  • a simple process of outputting a tactile signal according to the used channel instruction information may be performed.
  • the decoding unit decodes the haptic coded data that has been coded to compress the amount of information using apparent motion.
  • the haptic encoded data includes use presence / absence information indicating whether or not the apparent motion is used, and the decoding unit performs the haptic encoding based on the use presence / absence information. It is desirable to decrypt the data.
  • the decoding device does not need to perform processing such as analyzing the haptic signal to determine whether or not the apparent motion is used.
  • processing such as analyzing the haptic signal to determine whether or not the apparent motion is used.
  • a simple process of outputting a tactile signal according to the use presence / absence information included may be performed.
  • the haptic coded data includes a haptic signal of only a single channel among available channels that are channels of a haptic signal capable of using apparent movement, and the haptic signal. It is preferable that the decoding unit outputs the haptic signal of the single channel according to the output control information.
  • haptic coded data need not include haptic signals of each channel to be provided with a haptic stimulus, but need only include haptic signals of a single channel. .
  • the single channel is a channel whose signal rising timing is the earliest among the available channels.
  • the decoding unit decodes the haptic coded data in which the size of a block representing a processing unit in the time direction is variable.
  • the tactile signal is a signal based on a detection signal of a tactile sensor.
  • the haptic signal be a signal based on an audio signal.
  • the decoding method according to the present technology is a decoding method for decoding haptic coded data obtained by performing coding for compressing the amount of information using a higher-order perception in haptic sensation signals.
  • the program according to the present technology is a program that causes an information processing apparatus to realize a function of decoding tactile coded data obtained by performing coding for compressing an amount of information using a higher order perception in a tactile signal with respect to a tactile signal. It is.
  • the present technology it is possible to reduce the amount of data of a tactile signal while ensuring reproducibility of a tactile sense, and to improve the efficiency of a tactile reproduction system.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a haptic reproduction system configured to include a decoding device as an embodiment according to the present technology. It is a figure for explaining an example of an internal configuration of an encoding device as an embodiment.
  • FIG. 2 is a diagram illustrating an example of an internal configuration of a playback device as a first embodiment. It is a figure for explaining an example of an internal configuration of a decoding device as an embodiment. It is an explanatory view of a vibration detection threshold curve. It is a figure for explaining an example of a finger contact type tactile device. It is a figure for explaining an example of a body contact type haptic device. It is explanatory drawing about a phantom sensation. It is an explanatory view about apparent movement.
  • FIG. 9 is an explanatory diagram of an example of encoding using phantom sensation.
  • FIG. 7 is a diagram illustrating an example of a tactile stimulus to be reproduced as a diagram for describing an example of encoding using apparent motion.
  • FIG. 4 is a diagram for explaining an example of encoding using apparent motion, illustrating a relationship between a signal detected by a sensor and recorded data.
  • FIG. 3 is a diagram for describing an example of an encoding format using higher-order perception. It is a flow chart which showed the procedure of the concrete processing for realizing encoding as an embodiment.
  • FIG. 4 is a diagram illustrating an example of block size determination. It is a functional block diagram for explaining the function concerning the decoding which the decoding device as an embodiment has.
  • FIG. 10 is a diagram for describing an example of the internal configuration of a playback device as a second embodiment. It is a flowchart showing a specific processing procedure to be executed to realize the encoding method as the second embodiment. It is the figure which showed the example of the higher order perception application threshold straight line.
  • FIG. 10 is a diagram illustrating an example of a GUI for adjusting a higher-order perceptual application threshold.
  • First embodiment> [1-1. Overview of tactile reproduction system] [1-2. Configuration of Encoding Device] [1-3. Configuration of playback device] [1-4. Configuration of Decoding Device] [1-5. Haptic Reproduction Method as Embodiment] (Encoding method) (Processing procedure on the encoding side) (Decoding side functional configuration and processing procedure) [1-6. Modification of First Embodiment] ⁇ 2.
  • Second embodiment> [2-1. Overview of tactile reproduction system]
  • Second embodiment> [2-1. Overview of tactile reproduction system] [2-2. Configuration of playback device] [2-3.
  • Encoding method] ⁇ 3. Summary of Embodiment> ⁇ 4. This technology>
  • Tactile stimulus A physical phenomenon that causes a person to perceive a tactile sensation, such as a vibration phenomenon.
  • Tactile presentation To generate a tactile stimulus.
  • Tactile information information perceived by tactile sense, such as vibration information.
  • Tactile signal A signal representing a pattern of a tactile stimulus, such as a signal representing a vibration waveform.
  • Recipient The person receiving the tactile presentation.
  • Tactile characteristics Characteristics related to human touch. It depends on the part (hand, face, foot, etc.).
  • Tactile sensitivity Sensitivity of how intensely a tactile stimulus is subjectively perceived. It depends on the receptor and site in the human body.
  • Encoded data Data obtained by encoding a signal. Streams and frames are subordinate concepts.
  • Tactile coded data Data obtained by coding a haptic signal.
  • FIG. 1 illustrates a configuration example of a haptic reproduction system 1 including a decoding device (decoding device 3) as an embodiment according to the present technology.
  • a tactile signal obtained by sensing target tactile information is encoded
  • tactile encoded data obtained by the encoding is encoded. It is divided into a recording environment for recording Dc and a reproduction environment for reproducing haptic information based on haptic signals obtained by decoding the haptic encoded data Dc.
  • the haptic reproduction system 1 includes a plurality of haptic sensors 5 and an encoding device 2 to which the haptic sensors 5 are connected in a recording environment, and can acquire haptic encoded data Dc in the reproduction environment.
  • a decoding device 3 configured to be able to wirelessly communicate with the playback device 4, and a plurality of tactile presentation devices 6 connected to the decoding device 3.
  • the tactile sensor 5 is a sensor that senses a tactile stimulus, and in this example, a vibration sensor such as a piezo pickup or an acceleration sensor is used.
  • the tactile sensor outputs a vibration or a motion as a voltage change by bringing the object into contact with a sensing object, that is, a human body in this example.
  • each tactile sensor 5 is connected to the encoding device 2 by wire, and each tactile sensor 5 is attached to a different part of a human body as an object and senses a tactile stimulus generated at each part.
  • the encoding device 2 includes a computer device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), and encodes a detection signal (tactile signal) from each tactile sensor 5 according to a predetermined data format.
  • the tactile coded data Dc obtained by the coding is recorded in, for example, a storage device provided therein.
  • the playback device 4 includes a computer device such as a CPU and a DSP, and transmits the acquired haptic coded data Dc to the decoding device 3.
  • a computer device such as a CPU and a DSP
  • the tactile coded data Dc recorded in the recording environment is obtained by the reproducing device 4 via a required network such as the Internet.
  • the haptic coded data Dc can be recorded on a portable recording medium, and the reproducing device 4 can acquire the haptic coded data Dc via the recording medium.
  • the decoding device 3 decodes the haptic coded data Dc received from the reproducing device 4 and drives each haptic presentation device 6 based on the haptic signal obtained by the decoding.
  • the tactile presentation device 6 is a device that generates a tactile stimulus, and in this example, a vibration device such as a vibrator or an actuator is used.
  • a vibration device such as a vibrator or an actuator is used.
  • each of the tactile presentation devices 6 is attached to a different part of the human body of the receiver and reproduces the tactile stimulus sensed by the corresponding tactile sensor 5.
  • each tactile presenting device 6 is connected to the decoding device 3 by wire, and a portion surrounded by a broken line in the drawing, that is, the decoding device 3 and each tactile presenting device 6 It is a part to be attached to.
  • the haptic reproduction system 1 may have a configuration in which the reproduction device 4 is given the function of the decoding device 3 and the reproduction device 4 and each of the haptic presentation devices 6 are connected in a wired manner. There is a possibility that the receiver wearing the presentation device 6 may be bothered. This annoyance is expected to increase as the number of sites for applying the tactile stimulus increases. With the configuration of the tactile reproduction system 1 shown in FIG. 1, it is possible to prevent such a troublesomeness from being given to the receiver.
  • the tactile reproduction system 1 shown in FIG. 1 is a system that reproduces a tactile sensation of each part perceived by a person wearing the tactile sensor 5 at a receiver, and can cope with a case where both are arranged remotely. It is configured as a system.
  • the number of each of the tactile sensor 5 and the tactile presentation device 6, that is, the number of human body parts that sense and reproduce tactile stimuli is at least three or more.
  • FIG. 2 is a diagram for describing an example of the internal configuration of the encoding device 2.
  • FIG. 2 shows the tactile sensors 5 shown in FIG. 1 together with an example of the internal configuration of the encoding device 2.
  • the encoding device 2 includes a plurality of amplifiers 21 and a plurality of A / D converters 22, a preprocessing unit 23, an encoding unit 24, a control unit 25, a storage unit 26, a communication unit 27, and a bus 28. ing.
  • the pre-processing unit 23, the encoding unit 24, the control unit 25, the storage unit 26, and the communication unit 27 are connected via a bus 28, and can perform data communication with each other.
  • the detection signal of each tactile sensor 5 is input to one corresponding amplifier 21 and adjusted to an appropriate dynamic range, and then input to one corresponding A / D converter 22 to perform A / D conversion (analog conversion). / Digital conversion).
  • the A / D converted detection signals (that is, tactile signals for each part) are input to the preprocessing unit 23.
  • various digital signal processes such as noise removal and calibration of the sensor characteristics of the tactile sensor 5 are performed.
  • Each haptic signal that has been subjected to the signal processing by the preprocessing unit 23 is input to the encoding unit 24.
  • the encoding unit 24 is composed of, for example, a DSP, and encodes each input haptic signal according to a predetermined data format to obtain the haptic encoded data Dc described above.
  • the encoding of the haptic signal according to the present embodiment will be described again.
  • the control unit 25 includes, for example, a microcomputer having a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and performs processing according to a program stored in the ROM to execute the encoding device. 2 is performed.
  • the control unit 25 performs data communication with an external device via the communication unit 27.
  • the communication unit 27 is configured to perform data communication with an external device via a network such as the Internet, and the control unit 25 is connected to the network via the communication unit 27. Data communication can be performed with an external device. In particular, it is possible to transmit the haptic coded data Dc obtained by the coding unit 24 to an external device via the communication unit 27.
  • the storage unit 26 comprehensively represents a storage device such as a hard disk drive (HDD) or a solid state drive (SSD), and is used in the encoding device 2 for storing various data.
  • the storage unit 26 stores data necessary for control by the control unit 25. Further, based on the control of the control unit 25, the haptic coded data Dc obtained by the coding unit 24 can be stored in the storage unit 26.
  • FIG. 3 is a diagram illustrating an example of the internal configuration of the playback device 4.
  • the playback device 4 includes a control unit 41, a communication unit 42, a media drive 43, a storage unit 44, and a wireless communication unit 45, and a bus 46 that connects these units to each other so as to enable data communication. I have.
  • the control unit 41 includes, for example, a microcomputer having a CPU, a ROM, a RAM, and the like, and performs overall control of the playback device 4.
  • the communication unit 42 is configured to be able to perform data communication with an external device via a network such as the Internet.
  • the control unit 41 can perform data communication with an external device connected to a network via the communication unit 42.
  • the haptic coded data Dc can be received by the communication unit 42 from an external device such as a server device on the network.
  • the media drive 43 is configured such that a portable recording medium is detachable, and is configured as a reader / writer unit capable of writing and reading data to and from the mounted recording medium.
  • Examples of the recording medium to which the media drive 43 corresponds include a memory card (for example, a portable flash memory) and an optical disk recording medium.
  • the media drive 43 enables reading of the tactile coded data Dc recorded on a portable recording medium.
  • the storage unit 44 comprehensively represents storage devices such as HDDs and SSDs, and is used in the playback device 4 to store various data.
  • the storage unit 44 stores data necessary for control by the control unit 41.
  • the haptic coded data Dc read by the media drive 43 and the haptic coded data Dc received from the external device by the communication unit 42 can be stored in the storage unit 44.
  • the wireless communication unit 45 performs short-range wireless communication using a predetermined communication method such as Bluetooth (registered trademark).
  • control unit 41 performs control for causing the communication unit 42 to receive the haptic coded data Dc and reading the haptic encoded data Dc by the media drive 43.
  • control unit 41 controls the wireless communication unit 45 to transmit the haptic coded data Dc obtained through the communication unit 42 and the media drive 43 to the decoding device 3.
  • FIG. 4 is a diagram for explaining an example of the internal configuration of the decoding device 3, and also shows each of the tactile sense presentation devices 6 together with the example of the internal configuration of the decoding device 3.
  • the decoding device 3 includes a plurality of amplifiers 31, a plurality of D / A converters 32, a post-processing unit 33, a decoding unit 34, a control unit 35, a wireless communication unit 36, a storage unit 37, and a bus. 38.
  • the post-processing unit 33, the decoding unit 34, the control unit 35, the wireless communication unit 36, and the storage unit 37 are connected via a bus 38, and can perform data communication with each other.
  • the control unit 35 includes, for example, a microcomputer having a CPU, a ROM, a RAM, and the like, and performs overall control of the decoding device 3.
  • the wireless communication unit 36 performs short-range wireless communication using a method that enables communication with the wireless communication unit 45 of the playback device 3 such as Bluetooth, for example.
  • the haptic coded data Dc transmitted from the playback device 3 is received by the wireless communication unit 36.
  • the storage unit 37 is a storage device similar to the storage unit 26 and the storage unit 44, for example, and is used for storing various data used by the control unit 35 and the like.
  • the decoding unit 34 decodes the haptic encoded data Dc input via the wireless communication unit 36 by a method described later, and obtains a haptic signal for each part.
  • the haptic signal for each part obtained by the decoding unit 34 is input to the post-processing unit 33.
  • the post-processing unit 33 performs signal processing such as calibration of the tactile presentation device 6 and predetermined filter processing as needed on the input tactile signal for each part.
  • Each tactile signal that has passed through the post-processing unit 33 is input to a corresponding D / A converter 32 and D / A converted (digital / analog converted). The range is adjusted and output to one corresponding tactile sense presentation device 6. Accordingly, each of the tactile presentation devices 6 is driven based on the tactile signal, and can provide the tactile stimulus to be sensed to the receiver in the detection environment (that is, the tactile information can be reproduced).
  • tactile signal Although only the tactile signal has been described above, it is also possible to adopt a configuration in which an audio signal or a video signal is recorded together with the tactile signal, and a sound or an image is provided to the receiver along with the tactile information.
  • the haptic reproduction method according to the embodiment focuses on human haptic characteristics.
  • a vibration detection threshold curve shown in FIG. 5 has been reported.
  • the horizontal axis represents frequency
  • the vertical axis represents the magnitude of tactile stimulation (vibration: displacement in this case).
  • the vibration detection threshold curve shown in FIG. 5 is an example in which the human senses or does not feel the vibration as a tactile sense, that is, an example in which the tactile sensitivity is examined by an experiment. Humans cannot perceive vibrations smaller than this curve as tactile sensations.
  • the vibration detection threshold curve shown in FIG. 5 indicates that a human can feel a vibration up to about 1 kHz as a tactile stimulus. Further, although a value of 1 kHz or more is not described in FIG. 5, it is known that a human can perceive a vibration as a tactile stimulus even with a vibration of a frequency of about several kHz although the sensitivity is not high.
  • the realism is further enhanced by widening the band of the characteristics of the tactile signal and the tactile presentation device 6 to about 1 kHz.
  • a method is employed in which tactile information such as actually generated vibration is sensed to obtain a tactile signal, and tactile presentation is performed based on the tactile signal.
  • Tactile signals are also considered to be digitized.
  • the amount of digitized data can be considered in terms of the number of bits required per unit time, that is, the bit rate.
  • a region that can be felt by a human has at least a vertical axis (vibration) of 50 dB ( ⁇ 20 dB to 30 dB) or more and a horizontal axis of about 1000 Hz.
  • the range of vibration is 70 dB ( ⁇ 20 dB to 50 dB) in the target frequency band up to 1000 Hz.
  • the band of the tactile signal that can be sensed by a human extends to several kHz.
  • the bit rate is 48 kbit / sec, which is twice as large as that of [Equation 1].
  • a tactile signal is basically a one-dimensional signal, but a physical phenomenon called vibration can be captured in three axes (x, y, z). If all of this is to be handled, a bit rate of 1440 kbit / sec is required, which is three times larger, but this value is larger than 1411 kbit / sec of the audio CD.
  • the bit rate of one haptic signal is not so large, but considering the sensation that can be sensed by humans, it is enormous, and it is certain that a large load is imposed on a system that handles haptic signals.
  • the tactile sense presentation device 6 comes into contact with the human body, in the case where the decoding device 3 and the reproduction device 4 are connected by a wire, it gives an annoyance to the receiver, and FIG. It is desired to use wireless communication as shown in FIG. Considering that the wireless communication at this time is realized by a conventional main wireless system, for example, in a broadband wireless system such as Wi-Fi (registered trademark), the battery may have a large capacity due to the large power consumption. This has an effect on miniaturization of a unit including the tactile sense presentation device 6 and the decoding device 3. Also, in Wi-Fi, a procedure from when a signal transmission request is generated to when the signal is actually received requires processing time, and thus a large delay may occur.
  • Wi-Fi registered trademark
  • a short-range wireless system such as Bluetooth can use a mechanism for transmitting and receiving signals with low power consumption and low delay compared to other wireless systems, and is considered to be suitable for use for the purpose of haptic reproduction.
  • the amount of information transmission is limited. For example, in consideration of transmitting and receiving an audio signal and a tactile signal in synchronization, it can be said that there is little room for the data amount given to the tactile signal.
  • services for streaming video and audio via the Internet have become widespread, but when considering the addition of tactile information to further enhance the sense of reality, QoS is still low because the communication speed of the line is already insufficient. While the data amount is being adjusted by the (Quality of Service) function, it can be said that there is little room for the data amount given to the tactile information.
  • the tactile signal is encoded and transmitted with high efficiency.
  • a vibration signal is handled as a tactile signal
  • the same one-dimensional audio coding scheme as a vibration signal such as MP3 (MPEG Audio Layer 3) or AAC (Advanced Audio Coding)
  • MP3 MPEG Audio Layer 3
  • AAC Advanced Audio Coding
  • the audio coding method is a coding method that considers human auditory characteristics in the first place and does not consider the characteristics of haptics, even if it is applied to vibration signals, important information for haptics can be obtained. There is a high possibility of loss and it is not possible to realize optimal coding.
  • an object of the present embodiment is to improve the efficiency of the haptic reproduction system by reducing the data amount of the haptic signal while ensuring the reproducibility of the haptics.
  • FIG. 6 is a diagram for explaining an example of a finger contact type haptic device. Specifically, the correspondence between the tactile sensor 5 used when presenting the tactile information to the finger of the hand and each finger is schematically shown. In this case, as the tactile sensors 5, five tactile sensors 5 to be attached to one corresponding finger are provided. In the following, the tactile sensors 5 attached to each finger are distinguished by adding “ ⁇ a” to “ ⁇ e” at the end of the reference numerals in order from the thumb side. Although only the tactile sensor 5 is illustrated in FIG. 6, the tactile presentation device 6 is also provided with five tactile presentation devices 6 (6-a to 6-e) to be attached to each finger. Can be
  • tactile signals for 5 channels can be acquired with one hand and 10 channels for both hands. Then, based on the acquired tactile signal, in a reproduction environment, a touched object is touched by a bat with a bat to a receiver having the tactile presenting devices 6-a to 6-e attached to their corresponding fingers. It is possible to experience a shock or the like at the time of hitting.
  • the tactile device for realizing such tactile reproduction may be, for example, an independent form for each finger such as a finger sack type, or an integrated form such as a glove type.
  • FIG. 7 is a diagram for explaining an example of a torso-contact type tactile device.
  • the tactile sensors 5 used when presenting tactile information from the chest to the abdomen and their positional relationships are schematically illustrated.
  • the tactile sensors 5 are arranged on the front side (chest and abdomen) of the body in three stages vertically. In each stage, the number of tactile sensors 5 arranged in the left-right direction is three, and a total of nine tactile sensors 5 are arranged on the front side of the body. As shown in the drawing, these nine tactile sensors 5 are distinguished by adding “ ⁇ f” to “ ⁇ n” at the end of the reference numerals.
  • nine tactile presentation devices 6 (6-f to 6-n) having a similar positional relationship are provided for the tactile presentation device 6.
  • the body-contact type tactile device in the recording environment, for example, by sensing a touch of an object, an impact shot with a gun or a sword cut with a sword, 9 channels on the front surface, Tactile signals for 18 channels can be obtained when combined with the back. Then, on the basis of the acquired tactile signal, in the reproduction environment, the tactile sense presentation devices 6-f to 6-n are sent to the receiver who is mounted in a positional relationship corresponding to the tactile sensors 5-f to 5-n in the recording environment. On the other hand, it is possible to experience the feeling of touching an object, the impact of being shot with a gun, or the impact of being cut with a sword.
  • the body-contact type haptic device may be provided, for example, for a shirt-type garment or a jacket-type garment as illustrated.
  • tactile sensation has been reported as higher order perception. Higher-order perception is the integration of physical stimulus information by the brain to link to complex perception. In the case of tactile sensation, it is mainly “phantom sensation” (Alles, DS: Information Transmission by Phantom Sensations, IEEE) Trans. Man-machine Systems, Vol.11, pp.85-91, 1970) and ⁇ apparent movement '' (Bekesy, GV: Sensation on the Skin Similar to Directional Hearing, Beats and Harmonics of the Ear, Journal of thethe Acoustic Society of America, Vol. 29, No. 4, pp. 489-501, 1957) have been reported.
  • phantom sensation Alles, DS: Information Transmission by Phantom Sensations, IEEE
  • ⁇ apparent movement '' Bekesy, GV: Sensation on the Skin Similar to Directional Hearing, Beats and Harmonics of the Ear, Journal of thethe Acoustic Society of America, Vol. 29, No. 4, pp. 489-501, 1957
  • FIG. 8 is an explanatory diagram of phantom sensation.
  • FIG. 8A shows that the tactile stimulus is simultaneously given only to A and C at both ends of three places A to C at a certain distance in the human body.
  • unstimulated B is also perceived as being stimulated at the same time as A and C. That is, phantom sensation is a phenomenon in which a stimulus image is perceived between stimulus points. At this time, if the stimulus points have different stimulus intensities, the stimulus image is perceived as being biased toward the one with the stronger stimulus intensity.
  • FIG. 9 is an explanatory diagram of apparent movement.
  • FIG. 9A shows that instantaneous tactile stimuli are given in chronological order from A to D to four places A to D at some distance from the human body.
  • FIG. 9B shows a stimulus that is perceived in response to giving the stimulus shown in FIG. 9A.
  • the apparent movement refers to a phenomenon in which stimuli between stimulus points are interpolated by discrete time-series movement of the stimulus points, and the stimuli are perceived as if the stimulus points are moving.
  • FIG. 10A shows tactile signals detected by the tactile sensors 5-a to 5-e shown in FIG. 6 when the ball is actually picked up. It can be seen from FIG. 10A that when picking up the ball, tactile stimuli of the same intensity are simultaneously perceived by all the fingers.
  • This reduction can be realized by temporarily excluding the channels of the tactile sensors 5-b and 5-d from the used channels in the digital encoding, if the number of used channels is variable. Can be temporarily reduced to 3/5 (40% reduction). Further, even in the coding method in which the number of used channels is fixed, the method of allocating zero to the signal symbol in the corresponding period of the tactile sensors 5-b and 5-d can reduce the amount of information. Reduction can be achieved. That is, setting the symbol to zero leads to a large reduction in information entropy, and when entropy coding (variable length coding) such as Huffman coding is employed, a very large information amount reduction effect can be obtained. it can. In addition, not only the amount of information is reduced, but also the number of drives of the tactile sense presentation device 6 is reduced, so that power saving and durability can be improved.
  • FIGS. 7 An example of encoding using apparent motion will be described with reference to FIGS.
  • FIGS. 7 An example of encoding using apparent motion
  • the human torso is a relatively large area, and often perceives movement and propagation of tactile stimuli.
  • effects for improving the sense of presence include effects that can be slashed with a sword and effects in which insects and the like crawl.
  • FIG. 11 when performing an effect of being cut in the direction of the arrow in the figure with a sword, specifically, after being cut in the direction from the upper left chest to the right abdomen, the left abdomen is cut from the right abdomen.
  • An example will be described in which an effect is performed such that the user can cut in the direction of the abdomen.
  • FIG. 12A illustrates signals detected by the tactile sensors 5-f to 5-n when performing such an effect.
  • the tactile stimulus is generated in the order of the tactile sensors 5-h, 5-j, 5-l, 5-m, and 5-n.
  • the consciousness of the moving sensation is more focused on than the difference in the nature (intensity and frequency) of the tactile signal.
  • the stimulus when the sword is moving as described above can be realized by directly recording all the tactile signals of each channel shown in FIG. 12A. By interpolating between the point and the end point, the tactile signal can be reduced while reproducing a similar stimulus. That is, in the digital encoding, if the mechanism uses the additional information for the actual data of the signal, for example, as shown in FIG. 12B, the tactile signal of the tactile sensor 5-h is recorded, while the tactile sensor 5-j, 5-t The tactile signals of ⁇ 1, 5-m, and 5-n are not recorded. Instead, the same tactile signal as the tactile signal of the tactile sensor 5-h is used as supplementary information. Information for instructing playback at appropriate times at each of the positions 5-m and 5-n is recorded ("extra information" in the figure).
  • the information amount in the corresponding period can be reduced to about (1/5) + ⁇ ( ⁇ is the amount of the supplementary information) (80- ⁇ % reduction).
  • FIG. 13 is a diagram for describing an example of an encoding format using higher-order perception.
  • the digital tactile signal a time-series voltage change acquired by the tactile sensor 5 is sampled at a predetermined sampling frequency, and a signal similar to the LPCM method referred to as an audio signal is assumed.
  • a digital haptic signal is divided into frames suitable for transmission in the time direction, and a header (frame header) is added as additional information for each frame.
  • a data format as shown in FIG. 13 can be considered. As shown, one frame is provided with a header area for storing information as a frame header and an actual data area for storing actual data of a tactile signal.
  • an area for storing each information of the sync, the used channel ID, the sampling frequency, the number of quantization bits, the block size, the temporary motion utilization channel ID, and the temporary motion utilization channel ID is defined in order from the top.
  • the sync is an identifier indicating the head of the frame.
  • the used channel ID represents an identifier of a channel used as a channel of the tactile signal among the maximum number of channels supported by the system.
  • the sampling frequency and the number of quantization bits represent the sampling frequency of the haptic signal and the number of quantization bits per sample, respectively.
  • the block size represents the size (the number of samples) in the time direction of the haptic signal stored in the frame.
  • the block here represents a processing unit in the time direction of the tactile signal.
  • the block size is allowed to be changed for each frame. The significance of the variable block size will be described later.
  • the apparent movement used channel ID is an identifier of a channel (hereinafter also referred to as “used channel”) in which the tactile signal is used for another channel among the channels that can use the apparent movement when using the apparent movement.
  • used channel information indicating a channel corresponding to the tactile sensor 5-h is stored in the apparent movement used channel ID.
  • the apparent exercise use channel ID is an identifier of a channel (hereinafter, also referred to as a “use channel”) that uses a tactile signal of another channel among channels that can use the apparent exercise when using the apparent exercise.
  • the apparent movement use channel ID includes the tactile sensors 5-j, 5-l, 5-m, and 5-t, which use the tactile signal of the tactile sensor 5-h. Information indicating n channels is stored.
  • stream data in a mode in which frames having the above data structure are arranged in the time direction can be obtained.
  • the haptic coded data Dc described above is recorded and transmitted in such a form of stream data.
  • the actual data of the haptic signal in the stream data is actually interleaved and stored for each channel.
  • step S101 the encoding unit 24 determines whether there is a channel in which a signal similar to a certain channel is simultaneously generated. Specifically, the encoding unit 24 analyzes the haptic signal of each channel input via the pre-processing unit 23 with a fixed analysis length, and analyzes whether there is a similar waveform that occurs simultaneously. . Whether or not they occur simultaneously is determined by whether or not the difference between the rise times of the signals falls within a certain range.
  • the similar waveform refers to a waveform in which signals have similar time envelopes.
  • whether or not the time envelopes are similar is determined by calculating the correlation between the signals to be compared to obtain the time envelope similarity, and determining whether the time envelope similarity is equal to or greater than a predetermined threshold. Do with.
  • the similar analysis of the time envelope may be performed by frequency analysis such as FFT (Fast Fourier Transform).
  • step S101 it is determined that there is a channel in which a signal similar to a certain channel is simultaneously generated
  • the encoding unit 24 proceeds to step S102, and determines whether there is a channel that can use phantom sensation. Specifically, it is determined whether or not there are three or more channels for which similar waveforms are determined to be occurring simultaneously, and among these channels, there are three or more continuous channels in terms of the arrangement position of the tactile sensor 5. Is determined.
  • the encoding unit 24 proceeds to step S103, and determines an unused channel. Specifically, for example, among the three or more consecutive channels as described above, the even-numbered channel is determined as a channel that is not used.
  • the encoding unit 24 does not store the channel ID in the channel ID area in the frame header in the frame header adding process in step S107 described later for the channel determined to be unused in step S103, and Does not store tactile signals. This makes it possible to effectively reduce the information amount of the tactile signal in response to the case where phantom sensation can be used.
  • a method of reducing the amount of information using phantom sensation a method in which a channel that can omit the tactile stimulus is temporarily removed from the used channel is exemplified. However, the channel is not removed from the used channel, and the channel is not removed from the used channel. By assigning zero to the coded symbol of the haptic signal, the amount of information can be reduced by using entropy coding.
  • the encoding unit 24 advances the processing to step S106, which will be described later, in response to executing the processing of step S103.
  • the encoding unit 24 determines whether there is no channel in which a signal similar to a certain channel is simultaneously generated in Step S101, or determines that there is no channel in which phantom sensation can be used in Step S102. In each case, the process proceeds to step S104.
  • step S104 the encoding unit 24 determines whether there is a channel in which a signal similar to a certain channel occurs within a predetermined time difference and within the sensor separation distance.
  • the sensor separation distance means a separation distance of the tactile sensor 5 between target channels.
  • the encoding unit 24 analyzes the haptic signal of each channel with a fixed analysis length (for example, 2 to 3 seconds) and analyzes whether there is a similar waveform occurring with a time difference within a predetermined time. I do. Whether the difference occurs within a predetermined time is determined based on whether the difference between the rise times of the signals falls within a certain range. The similar waveform is determined by the same analysis as in step S101.
  • step S104 based on the above analysis, the encoding unit 24 determines whether there is a set of channels in which similar waveforms are generated with a time difference within a predetermined time. Then, it is determined whether or not the sensor separation distance between the channels in the set is within a predetermined distance. The encoding unit 24 determines the channel for which a positive result is obtained by the above determination as a “channel in which a signal similar to a certain channel occurs within a predetermined time difference and within the sensor separation distance”. The determination processing of S104 is performed.
  • the generation time length of the tactile stimulus is set to a fixed time length (for example, 2 to 3 seconds).
  • a set of channels of the tactile sensors 5-h and 5-j, the tactile sensor 5 as a “channel in which a signal similar to a certain channel is generated within a predetermined time difference and within the sensor separation distance”.
  • a set of channels of ⁇ j ⁇ 5-l, a set of channels of the tactile sensors 5-l ⁇ 5-m, and a set of channels of the tactile sensors 5-m ⁇ 5-n are specified.
  • step S104 If it is determined in step S104 that there is a channel in which a signal similar to a certain channel is generated within a predetermined time difference and within the sensor separation distance, the encoding unit 24 proceeds to step S105, and proceeds to step S105.
  • the channels to be used for the apparent movement are the channels for which the apparent movement can be used from the analysis in step S104 (that is, in the examples of FIGS. 11 and 12, the tactile sensors 5-h, 5-j, Of the channels 5-1, 5-m, and 5-n), the channel with the earliest tactile stimulus timing is the channel (the channel of the tactile sensor 5-h in the examples of FIGS. 11 and 12). In other words, the channel has the earliest rising timing of the signal.
  • the use channel related to the apparent movement is a channel in which the second and subsequent tactile stimuli are to be generated among the channels that can use the apparent movement.
  • the encoding unit 24 determines that the frame to be processed is the frame corresponding to the earliest tactile stimulus timing among the frames during the continuous haptic stimulus in which the apparent motion can be used (hereinafter “initial haptic stimulus timing”).
  • Frame header and a frame corresponding to the second and subsequent haptic stimulus timings (hereinafter referred to as a “non-initial frame”), respectively, to perform different frame header addition processing.
  • the encoding unit 24 determines in the frame header adding process in step 107 that the channel to be used in the frame header has the earliest timing of the haptic stimulus described above.
  • an invalid value that is, a value indicating that there is no corresponding channel: for example, 0
  • the encoding unit 24 stores an invalid value (for example, 0) in the used channel ID and sets the used channel ID in the frame header adding process in step S107. Stores a value representing a channel in which rising of a tactile signal is detected within a period of the frame among channels in which the apparent motion can be used.
  • the frame to be processed is a non-initial frame
  • a method of removing the used channel from the used channel is adopted.
  • Information amount can be reduced.
  • the encoding unit 24 performs the determination process of step S105, or determines that there is no channel in which a signal similar to a certain channel is generated within the predetermined time difference and within the sensor separation distance in step S104. In each case, the process proceeds to step S106.
  • step S106 the encoding unit 24 performs a block size determination process.
  • the block size is determined based on the result of the waveform analysis in step S101 or S104 so that the rising edge of the signal is at the beginning of the frame.
  • the range indicated by the double-headed arrow in the upper part of FIG. 15A is set as the block size.
  • a range indicated by a double-headed arrow in the upper part of FIG. 15A and 15B show an example in which one tactile stimulus period is contained in one block, but it is also possible to divide the period into a plurality of blocks.
  • the encoding unit 24 executes the frame header adding process in step S107 in response to executing the block size determining process in step S106. Since the contents of the frame header adding process to be executed when using the phantom sensation and when using the temporary movement are already described, redundant description will be avoided.
  • the encoding unit 24 ends the series of processes illustrated in FIG. 14 in response to executing the process of step S107.
  • FIG. 16 is a functional block diagram for explaining the decoding-related functions of the decoding device 3.
  • the decoding device 3 has functions as an acquisition processing unit F1 and a decoding processing unit F2.
  • the acquisition processing unit F1 acquires the haptic coded data Dc obtained by performing coding for compressing the amount of information on the haptic signal by using a higher order perception in the haptic sense.
  • the function as the acquisition processing unit F1 corresponds to the function of the wireless communication unit 36 receiving the tactile coded data Dc from the reproduction device 4 side.
  • the decoding unit F2 decodes the haptic coded data Dc acquired by the acquisition unit F2.
  • the function as the acquisition processing unit F2 is realized by the decoding unit 34.
  • the acquisition processing unit F1 acquires the haptic encoded data Dc that has been encoded to compress the amount of information using phantom sensation or apparent movement.
  • the acquisition processing unit F1 When phantom sensation is used, the acquisition processing unit F1 generates tactile coded data including used channel instruction information (in this example, used channel ID) for indicating a used channel among three or more channels of the tactile signal. Get Dc. Then, the decoding processing unit F2 outputs a tactile signal of the channel indicated by the used channel instruction information. Accordingly, in realizing the reduction of the data amount using the phantom sensation, the decoding device 3 does not need to analyze the encoded data and determine whether to use the phantom sensation or not, and the haptic encoded data is not necessary. A simple process of outputting a tactile signal in accordance with the included use channel instruction information may be performed.
  • the acquisition processing unit F1 acquires the tactile coded data Dc including the use presence / absence information indicating the use / non-use of the apparent motion, and the decoding processing unit F2 determines whether the use is performed.
  • the tactile coded data Dc is decoded based on the information.
  • the use presence / absence information corresponds to the information of the temporary exercise use channel ID and the temporary exercise use channel ID in the frame header.
  • the effective value is set to the apparent movement used channel ID, and the apparent movement used channel ID is set.
  • An invalid value is stored in the decoding processing unit F2.
  • the decoding processing unit F2 Based on the information of the virtual exercise used channel ID and the temporary exercise used channel ID, the decoding processing unit F2 indicates that there is a channel as a used channel in the frame, and The channel ID of the used channel can be identified. In addition, in the frames corresponding to the second and subsequent haptic stimulus timings among the frames in the period of the continuous haptic stimulus in which the apparent motion can be used, an invalid value is set in the apparent motion used channel ID, Since a valid value is stored in the apparent exercise use channel ID, the decoding processing unit F2 uses the information on the apparent exercise use channel ID and the apparent exercise use channel ID in the frame to be used in the initial frame. It is possible to identify that there is a channel to use the waveform portion of the channel, and the channel ID of the channel to use (output) the waveform portion.
  • the acquisition processing unit F1 When the apparent motion is used, the acquisition processing unit F1 performs the output control indicating the haptic signal of only a single channel among the available channels of the apparent motion and the output channel and output timing of the haptic signal.
  • the haptic encoded data Dc including the information is obtained, and the decoding processing unit F2 outputs a haptic signal of a single channel according to the output control information.
  • the output control information corresponds to the information of the temporary exercise use channel ID and the temporary exercise use channel ID in the frame header.
  • the information of the apparent exercise use channel ID stores an effective value in an appropriate frame, and thus functions as information indicating an output channel and an output timing of a haptic signal in the apparent exercise use channel of the initial frame.
  • step S201 the decoding unit 34 executes a frame header analysis process, and in subsequent step S202, determines whether or not the apparent motion is used. Specifically, it is determined whether a valid value is stored in at least one of the temporary exercise use channel ID and the temporary exercise use channel ID. If the condition that a valid value is stored in at least one of the apparent exercise use channel ID and the apparent exercise use channel ID is not satisfied and it is determined that the apparent exercise is not used, decoding is performed. The unit 34 proceeds to step S205 and executes a process of outputting a tactile signal of the used channel.
  • the use indicated by the use channel ID is used.
  • the tactile signal of the channel is output.
  • the decoding unit 34 advances the process to step S207 described below.
  • step S203 determines whether or not the frame is an initial frame using the apparent motion. Specifically, it is determined whether or not a valid value is stored only in the former of the temporary exercise use channel ID and the temporary exercise use channel ID. If a valid value is stored only in the apparent motion used channel ID and it is determined that the frame is an initial frame using the apparent motion, the decoding unit 34 proceeds to step S204 and stores the tactile signal of the used channel. After executing the processing, the process proceeds to step S205. After the processing in step S204, the processing in step S205 is executed, so that the tactile signal of the used channel is output in the initial frame.
  • step S203 If it is determined in step S203 that the condition that the effective value is stored only in the apparent motion exercise channel ID is not satisfied and the frame is not the initial frame using the apparent motion, the decoding unit 34 proceeds to step S206. Proceed to. The case where a negative result is obtained in step S203 means that the effective value is stored only in the temporary exercise use channel ID of the temporary exercise use channel ID and the temporary exercise use channel ID.
  • step S206 the decoding unit 34 performs a process of outputting the stored haptic signal of the used channel as a signal of the used channel, and proceeds to step S207.
  • step S207 the decoding unit 34 determines whether or not decoding for all channels has been completed. If a negative result is obtained, the process returns to step S202. If a positive result is obtained, a series of processes shown in FIG. Finish the process.
  • the haptic coded data Dc that has been coded to compress the amount of information using higher order perception can be appropriately decoded, and the haptic information sensed in the recording environment can be decoded. Reproduction can be appropriately performed using higher-order perception.
  • the tactile signal may be obtained based on an audio signal.
  • a signal obtained by subjecting an audio signal having a sampling frequency of 48 kHz to low-pass filter (LPF) processing may be used.
  • FIG. 18 illustrates a configuration on the encoding side when a haptic signal can be obtained based on an audio signal.
  • FIG. 18 illustrates a configuration corresponding to a case where the audio signal is, for example, a 5.1-channel surround audio signal.
  • an LPF 50 is prepared for each channel of the audio signal, and the LPF 50 extracts a low-frequency component (for example, 2 kHz or less) of the audio signal to obtain a tactile signal of each channel.
  • the encoding unit 24A performs the same encoding processing as that of the encoding unit 24 on the haptic signal of each channel obtained by the LPF 50 to obtain haptic encoded data Dc.
  • the location where the sound source is localized can be moved spatially, such as surround content such as 5.1 channel or 7.1 channel, the feeling of moving between fingers or the chest
  • the sensation of moving between different parts of the human body such as the sensation of moving from the to the belly, can be reproduced.
  • the decoding device 3 acquires the haptic coded data Dc obtained by the coding unit 24A, and the decoding unit 34 performs the same decoding processing as in FIG. 17 on the obtained haptic coded data Dc.
  • Second embodiment> [2-1. Overview of tactile reproduction system] Subsequently, a tactile reproduction system 1B according to the second embodiment will be described.
  • a criterion for determining whether or not high-order perception can be used is made variable according to individual differences in sensitivity relating to higher-order perception.
  • FIG. 19 is a diagram illustrating a configuration example of the tactile reproduction system 1B.
  • the tactile reproduction system 1B includes a reproducing device 4B, a decoding device 3, a plurality of tactile presentation devices 6 (at least three in this example), and a display device 7.
  • the reproducing device 4B is configured to be able to acquire the tactile data Dh.
  • the haptic data Dh indicates a haptic signal of each channel converted into digital data, and in this example, encoding as an embodiment, that is, encoding for compressing an information amount using higher-order perception is performed. The previous tactile signal is used.
  • the reproduction device 4B is configured to perform encoding as the embodiment on the haptic data Dh, and to transmit the haptic encoded data Dc obtained by the encoding to the decoding device 3 by wireless communication.
  • the playback device 4B is connected to a display device 7 which is a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, and can display various information on the display device 7. It is configured to be possible.
  • FIG. 20 is a diagram for explaining an example of the internal configuration of the playback device 4B, and also shows the display device 7 together with the example of the internal configuration of the playback device 4B.
  • the playback device 4B is different from the playback device 4 shown in FIG. 3 in that a control unit 41B is provided instead of the control unit 41, and an encoding unit 24B, an operation unit 60, and a display control unit 61 are added. Is different.
  • the playback device 4B can acquire the tactile data Dh via the media drive 43 or communication via the communication unit 42.
  • the encoding unit 24B receives the haptic data Dh, that is, the haptic signal of each channel, and performs an encoding process as an embodiment to obtain encoded haptic data Dc.
  • the difference from the encoding unit 24 is that the criterion for determining whether to perform encoding using phantom sensation and the criterion for determining whether to perform encoding using apparent motion can be changed. This is the point configured.
  • whether or not phantom sensation can be used is determined when the similarity of the time envelope waveform of the haptic signal is equal to or greater than a predetermined threshold value between the channels to be compared.
  • the difference between the rise times of the tactile signals is within a predetermined threshold value.
  • the determination as to whether or not the apparent motion can be used is that the similarity of the time envelope waveform is equal to or greater than a predetermined threshold between the channels to be compared, and that the difference in the rise time is within the predetermined threshold. The determination is made as to whether or not the conditions are satisfied.
  • the encoding unit 24B of the present example uses the time envelope as described above as a criterion for determining whether to perform encoding using phantom sensation and for determining whether to perform encoding using apparent motion. At least the threshold value for the similarity of the waveform and the threshold value for the difference between the signal rise times can be changed.
  • the operation unit 60 comprehensively represents various operators provided in the playback device 4B, and outputs operation input information corresponding to the operation input to the control unit 41B.
  • the control unit 41B includes, for example, a microcomputer having a CPU, a ROM, a RAM, and the like, and performs overall control of the playback device 4B by executing processing according to a program stored in the ROM or the like. The processing performed by the control unit 41B according to the embodiment will be described later.
  • the display control unit 61 is connected to the bus 46 and controls display of the display device 7 based on an instruction from the control unit 41B. This allows the control unit 41B to cause the display device 7 to display various types of information.
  • the criterion as to whether to perform encoding using phantom sensation or apparent motion is the above-described threshold value for the similarity of the time envelope waveform and the threshold value for the difference in signal rise time. . In the following description, these thresholds will be collectively referred to as “higher-order perception application thresholds”.
  • FIG. 21 is a flowchart showing a specific processing procedure to be executed to realize the encoding method according to the second embodiment.
  • the processing shown in FIG. 21 is executed by the control unit 41B in this example.
  • the processing corresponding to the case where the finger contact type tactile device shown in FIG. 6 is used as the tactile device will be described, and “a” to “e” in the figure indicate the tactile device shown in FIG. It shall represent each position.
  • the control unit 41B obtains answer information indicating how much stimulation is felt by b, c, and d when simultaneously stimulating a and c, b and d, and c and e, respectively.
  • the decoding device 3 is instructed to simultaneously drive the tactile sensation providing device 6 at the corresponding position via the wireless communication unit 45, and the display device 7 displays a response information reception screen.
  • the process is executed as a process for receiving an operation input to the operation unit 60.
  • the drive signal of the tactile sense presentation device 6 is a pulse signal having a constant strength.
  • the answer information includes a score representing the degree of the phantom sensation felt by the receiver in three stages (1: no stimulation between stimulated fingers / 2: felt / 3: strong feeling, etc.) Let it be information.
  • step S304 the control unit 41B executes a process for obtaining answer information on how much a feeling of movement is felt when a to e are sequentially stimulated.
  • the decoding device 3 is instructed to sequentially drive the tactile sensation providing device 6 at the corresponding position via the wireless communication unit 45, the display device 7 displays a response information reception screen, and the operation unit 60.
  • This is executed as a process for accepting an operation input for.
  • the answer information in this case is assumed to be information of a score (1: no feeling of movement / 2: feel / 3: strong feeling, etc.) indicating the degree of apparent movement felt by the touchee in three stages. .
  • step S305 the control unit 41B calculates the average of the scores obtained as the answer information in steps S301 to S304, and in step S306, applies the higher-order perception application based on the average score and the higher-order perception application threshold line.
  • a process for obtaining a threshold is performed.
  • FIG. 22 shows an example of a higher-order perceptual application threshold straight line.
  • FIG. 22 illustrates a higher-order perceptual application threshold straight line corresponding to the case where the higher-order perceptual application threshold is a threshold for the similarity of the temporal envelope waveform described above.
  • the higher-order perception application threshold line in this case is configured such that the higher the average score, the smaller the higher-order perception application threshold. That is, the higher the sensitivity related to higher-order perception, the lower the threshold value for the similarity of the temporal envelope waveform is designed. The higher the sensitivity related to higher-order perception, the higher the information compression using higher-order perception is performed. It will be easier.
  • the higher-order perception application threshold straight line illustrated in the figure when the average score is 2.33, 0.48 is obtained as the higher-order perception application threshold.
  • the higher-order perception application threshold straight line may be designed such that the higher the average score, the smaller the higher-order perception application threshold.
  • a common higher-order perception application threshold is set for the phantom sensation and the apparent motion.
  • the higher-order perception application threshold may be different for the phantom sensation and the apparent motion. .
  • the user who becomes a receiver has a preference such as a user who wants to prevent transmission interruption even if the quality of the tactile signal is degraded, or a user who sticks to the quality of the tactile signal even if transmission interruption occurs to some extent. It is conceivable to provide a mechanism in which different users are assumed to exist and the users can adjust the higher-order perceptual application threshold by themselves.
  • FIG. 23 is a diagram illustrating an example of a GUI (Graphical User Interface) for adjusting the higher-order perception application threshold.
  • GUI Graphic User Interface
  • FIG. 21 An example of an image displayed on 7a is shown.
  • an expression called a higher-order perception application threshold is used.
  • FIG. 23 for each combination of the target fingers, an index indicating the ease of application of the encoding using the higher-order perception is set to “ Application threshold ”. That is, in FIG. 21, the threshold value is determined based on the user's sensitivity to higher-order perception in advance, whereas in FIG. 23, the user can determine the application threshold value according to his / her preference.
  • FIG. 21 the threshold value is determined based on the user's sensitivity to higher-order perception in advance, whereas in FIG. 23, the user can determine the application threshold value according to his / her preference.
  • the GUI is such that the application threshold can be adjusted for each of the phantom sensation and the apparent movement.
  • the application threshold By setting the application threshold low, the user can perform information compression using higher-order perception more frequently, and can prevent transmission interruption and save power. Conversely, by setting a high application threshold, information compression using higher-order perception is hardly performed, and the accuracy of haptic reproduction can be minimized.
  • the application threshold of the phantom sensation can be adjusted for each combination of fingers between a, c, b, d, and c.
  • a user who is aware of the sense of the index finger but not that of the other fingers is not so important.
  • the decoding device (third embodiment) as the embodiment decodes the haptic coded data obtained by performing the coding for compressing the amount of information using the higher-order perception of the haptic signal to the haptic signal. (Decoding processing unit F2, decoding unit 34).
  • the data amount of the haptic signal can be reduced while ensuring the reproducibility of the haptic sensation, and the efficiency of the haptic reproduction system can be improved.
  • the output of the tactile signal can be made unnecessary for the channel (portion) from which the tactile signal is to be output, so that the number of times of driving the tactile presentation device can be reduced, Power saving and durability improvement of the tactile presentation device can be achieved.
  • the decoding unit decodes the haptic coded data that has been coded to compress the information amount using phantom sensation.
  • the haptic coded data includes use channel instruction information for indicating a use channel among three or more haptic signal channels, and the decoding unit performs the use channel instruction information.
  • the tactile signal of the channel indicated by is output.
  • the decoding device does not need to analyze the haptic signal and determine whether to use the phantom sensation or not, and the decoding device includes the phantom sensation in the haptic encoded data.
  • a simple process of outputting a tactile signal according to the used channel instruction information may be performed. Therefore, in order to improve the efficiency of the haptic reproduction system, it is possible to reduce the processing load on the decoding device and reduce the cost by simplifying the configuration.
  • the decoding unit decodes the haptic coded data that has been coded to compress the information amount using the apparent motion.
  • the haptic coded data includes use / non-use information indicating whether or not the apparent motion is used, and the decoding unit decodes the haptic coded data based on the use / non-use information. ing.
  • the decoding device does not need to perform processing such as analyzing the haptic signal to determine whether or not the apparent motion is used.
  • a simple process of outputting a tactile signal according to the use presence / absence information included may be performed. Therefore, in order to improve the efficiency of the haptic reproduction system, it is possible to reduce the processing load on the decoding device and reduce the cost by simplifying the configuration.
  • the haptic coded data includes a haptic signal of only a single channel among available channels which are channels of the haptic signal capable of using the apparent motion, and a haptic signal of the haptic signal.
  • Output control information indicating an output channel and output timing is included, and the decoding unit outputs a single channel haptic signal according to the output control information.
  • haptic coded data need not include haptic signals of each channel to be provided with a haptic stimulus, but need only include haptic signals of a single channel. . Therefore, the data amount of the haptic signal can be further reduced, and the efficiency of the haptic reproduction system can be further improved.
  • the single channel is the channel with the earliest signal rising timing among the available channels.
  • the decoding unit decodes the haptic encoded data in which the size of the block representing the processing unit in the time direction is variable.
  • the decoding device extracts the waveform portion from the haptic signal by signal analysis. , It is possible to reduce the processing load related to the decoding of the haptic signal encoded using the higher order perception.
  • the tactile signal is a signal based on the detection signal of the tactile sensor.
  • the haptic signal is a signal based on the audio signal.
  • the decoding method according to the embodiment is a decoding method for decoding haptic coded data obtained by performing coding for compressing an amount of information using a higher-order perception in a haptic signal for a haptic signal.
  • the functions of the encoding units (24, 24A, 24B) and the decoding unit (34) described above can be realized as software processing by a CPU or the like.
  • the software processing is executed based on a program, and the program is stored in a storage device such as a CPU that can be read by a computer device (information processing device).
  • the program according to the embodiment is a program that causes an information processing apparatus to realize a function of decoding haptic coded data obtained by performing coding for compressing an amount of information using a higher-order perception in a haptic signal with respect to a haptic signal. .
  • the decoding device as the above-described embodiment can be realized.
  • a decoding device comprising: a decoding unit that decodes haptic coded data obtained by performing coding for compressing an amount of information using a higher-order perception in a haptic signal with respect to a haptic signal.
  • the decoding unit The decoding device according to (1), wherein the haptic coded data that has been coded to compress the information amount using phantom sensation is decoded.
  • the haptic coded data includes use channel instruction information for indicating a use channel among three or more haptic signal channels, The decoding unit, The decoding device according to (2), which outputs a tactile signal of a channel indicated by the use channel instruction information.
  • the decoding unit The decoding device according to any one of (1) to (3), which decodes the haptic encoded data that has been encoded to compress the amount of information using apparent motion.
  • the tactile coded data includes usage information indicating whether or not the apparent movement is used, The decoding unit, The decoding device according to (4), wherein the haptic encoded data is decoded based on the use presence / absence information.
  • the haptic coded data includes a haptic signal of only a single channel among available channels, which are channels of a haptic signal capable of using apparent movement, and an output control representing an output channel and an output timing of the haptic signal.
  • the decoding unit The decoding device according to (5), wherein the haptic signal of the single channel is output according to the output control information.
  • the decoding unit The decoding device according to any one of (1) to (7), which decodes the haptic encoded data in which a size of a block representing a processing unit in a time direction is variable.
  • the tactile signal is a signal based on a detection signal of a tactile sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図る。　本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える。これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。

Description

復号装置、復号方法、プログラム
　本技術は、符号化された触覚信号を復号する復号装置とその方法、及びプログラムに関する。
　近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
　例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
　音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
　コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
　アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
　また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある（例：災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>）
　さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触（硬さ）を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）
　なお、関連する従来技術については下記特許文献１を挙げることができる。該特許文献１には、振動等の触覚情報をセンシングして触覚刺激のパターンを表す触覚信号を生成するのではなく、音声信号に基づき触覚信号を生成する技術が開示されている。
特開２０１５－５３０３８号公報
　ここで、触覚情報を再現する触覚再現システムについては、触覚提示デバイスを複数用意して人体の複数部位に触覚刺激を与えたり、触覚信号を有線や無線により通信すること等が考えられている。
　しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
　本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図ることを目的とする。
　本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備えるものである。
　これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　上記した本技術に係る復号装置においては、前記復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。
　これにより、人体の３以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　上記した本技術に係る復号装置においては、前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、前記復号部は、前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力することが望ましい。
　これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
　上記した本技術に係る復号装置においては、前記復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。
　これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、前記復号部は、前記利用有無情報に基づいて前記触覚符号化データを復号することが望ましい。
　これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。
　上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、前記復号部は、前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力することが望ましい。
　これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。
　上記した本技術に係る復号装置においては、前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされたことが望ましい。
　これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、２番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。
　上記した本技術に係る復号装置においては、前記復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号することが望ましい。
　これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。
　上記した本技術に係る復号装置においては、前記触覚信号は触覚センサの検出信号に基づく信号とされたことが望ましい。
　これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。
　上記した本技術に係る復号装置においては、前記触覚信号は音声信号に基づく信号とされたことが望ましい。
　これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。
　また、本技術に係る復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。
　このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。
　さらに、本技術に係るプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。
　このような本技術に係るプログラムにより、上記した本技術に係る復号装置が実現される。
　本技術によれば、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術に係る実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。 実施形態としての符号化装置の内部構成例を説明するための図である。 第一実施形態としての再生装置の内部構成例を示した図である。 実施形態としての復号装置の内部構成例を説明するための図である。 振動検出閾値曲線の説明図である。 指接触型の触覚デバイスの例を説明するための図である。 胴接触型の触覚デバイスの例を説明するための図である。 ファントムセンセーションについての説明図である。 仮現運動についての説明図である。 ファントムセンセーションを利用した符号化の例についての説明図である。 仮現運動を利用した符号化の例について説明するための図として、再現すべき触覚刺激の例を示した図である。 仮現運動を利用した符号化の例について説明するための図として、センサにより検出される信号と収録されるデータとの関係を例示した図である。 高次知覚を利用した符号化フォーマットの例を説明するための図である。 実施形態としての符号化を実現するための具体的な処理の手順を示したフローチャートである。 ブロックサイズ決定の例を示した図である。 実施形態としての復号装置が有する復号に係る機能を説明するための機能ブロック図である。 実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。 第一実施形態の変形例としての符号化装置の構成例を説明するための図である。 第二実施形態としての触覚再現システムの構成例を示した図である。 第二実施形態としての再生装置の内部構成例を説明するための図で 第二実施形態としての符号化手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。 高次知覚適用閾値直線の例を示した図である。 高次知覚適用閾値を調整するためのＧＵＩの例を示した図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
［1-2．符号化装置の構成］
［1-3．再生装置の構成］
［1-4．復号装置の構成］
［1-5．実施形態としての触覚再現手法］
（符号化手法）
（符号化側の処理手順）
（復号側の機能構成・処理手順）
［1-6．第一実施形態の変形例］
＜２．第二実施形態＞
［2-1．触覚再現システムの概要］
［2-2．再生装置の構成］
［2-3．符号化手法］
＜３．実施形態のまとめ＞
＜４．本技術＞
　ここで、本明細書においては以下のように各用語を定義する。
　触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
　触覚提示：触覚刺激を発生させること。
　触覚情報：例えば振動情報等、触覚により知覚される情報。
　触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
　受触者：触覚提示を受ける人。
　触覚特性：人間の触覚に関する特性。部位（手、顔、足等）によって異なる。
　触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
　符号化データ：信号を符号化したデータ。下位概念としてストリーム、フレームがある。
　触覚符号化データ：触覚信号を符号化したデータ。
＜１．第一実施形態＞
［1-1．触覚再現システムの概要］

　図１は、本技術に係る実施形態としての復号装置（復号装置３）を含んで構成される触覚再現システム１の構成例を示している。
　先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報（触覚刺激）をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データＤｃを収録する収録環境と、触覚符号化データＤｃを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
　図示のように、触覚再現システム１は、収録環境において、複数の触覚センサ５とそれら触覚センサ５が接続された符号化装置２とを備えると共に、再現環境において、触覚符号化データＤｃを取得可能に構成された再生装置４と、再生装置４と無線通信可能に構成された復号装置３と、復号装置３と接続された複数の触覚提示装置６とを備えている。
　触覚センサ５は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
　本例において、各触覚センサ５は符号化装置２に対して有線接続されており、各触覚センサ５は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。
　符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、各触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、該符号化により得られる触覚符号化データＤｃを例えば内部に設けられた記憶デバイスに収録する。
　再生装置４は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、取得した触覚符号化データＤｃを復号装置３に送信する。例えば、収録環境において収録された触覚符号化データＤｃは、インターネット等の所要のネットワークを介して再生装置４に取得させる。或いは、触覚符号化データＤｃは可搬型の記録媒体に収録し、該記録媒体を介して再生装置４に触覚符号化データＤｃを取得させることもできる。
　復号装置３は、再生装置４より受信した触覚符号化データＤｃを復号し、該復号により得られた触覚信号に基づいて各触覚提示装置６を駆動する。
　触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
　本例では、各触覚提示装置６は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ５でセンシングされた触覚刺激を再現するようにされる。
　ここで、本例では、各触覚提示装置６は復号装置３に対して有線接続されており、図中の破線により囲った部分、すなわち復号装置３と各触覚提示装置６とが、受触者に対して装着される部分とされる。
　触覚再現システム１としては、再生装置４に復号装置３の機能を与えて、再生装置４と各触覚提示装置６とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置６を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
　図１に示す触覚再現システム１の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。
　図１に示す触覚再現システム１は、触覚センサ５を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。
　なお、本実施形態において、触覚センサ５、触覚提示装置６の各々の数、すなわち触覚刺激をセンシングし再現する人体の部位の数は少なくとも３以上とされる。
［1-2．符号化装置の構成］

　図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した各触覚センサ５を併せて示している。
　図示のように符号化装置２は、複数の増幅器２１と複数のＡ／Ｄコンバータ２２、及び前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、バス２８を備えている。前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。
　各触覚センサ５の検出信号は、それぞれ対応する一つの増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応する一つのＡ／Ｄコンバータ２２にそれぞれ入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。
　Ａ／Ｄ変換された各検出信号（つまり部位ごとの触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。
　前処理部２３による信号処理を施された各触覚信号は、符号化部２４に入力される。
　符号化部２４は、例えばＤＳＰで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化し、上述した触覚符号化データＤｃを得る。
　なお、本実施形態としての触覚信号の符号化については改めて説明する。
　制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
　例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
　通信部２７は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部２４で得られた触覚符号化データＤｃを通信部２７を介して外部装置に送信させることが可能とされる。
　記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、符号化部２４で得られた触覚符号化データＤｃを記憶部２６に記憶させることもできる。
［1-3．再生装置の構成］

　図３は、再生装置４の内部構成例を示した図である。
　図示のように再生装置４は、制御部４１、通信部４２、メディアドライブ４３、記憶部４４、及び無線通信部４５を備えると共に、これらの各部を互いにデータ通信可能に接続するバス４６を備えている。
　制御部４１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、再生装置４の全体制御を行う。
　通信部４２は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部４１は、該通信部４２を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、触覚符号化データＤｃを通信部４２によって受信させることが可能とされる。
　メディアドライブ４３は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ／ライタ部として構成されている。メディアドライブ４３が対応する記録媒体としては、例えば、メモリカード（例えば可搬型のフラッシュメモリ）や光ディスク記録媒体等を挙げることができる。
　このメディアドライブ４３により、可搬型の記録媒体に記録された触覚符号化データＤｃの読み出しが可能とされる。
　記憶部４４は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置４において各種のデータ記憶に用いられる。例えば記憶部４４には、制御部４１による制御に必要なデータが記憶される。また、制御部４１の制御に基づき、メディアドライブ４３により読み出された触覚符号化データＤｃや、通信部４２により外部装置から受信した触覚符号化データＤｃを記憶部４４に記憶させることもできる。
　無線通信部４５は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の所定通信方式による近距離無線通信を行う。
　ここで、制御部４１は、上記した全体制御の一部として、触覚符号化データＤｃについての通信部４２による受信やメディアドライブ４３による読み出しを実行させるための制御を行う。また、制御部４１は、これら通信部４２やメディアドライブ４３経由で得られる触覚符号化データＤｃを、無線通信部４５により復号装置３に送信させる制御を行う。
［1-4．復号装置の構成］

　図４は、復号装置３の内部構成例を説明するための図であり、復号装置３の内部構成例と共に各触覚提示装置６を併せて示している。
　図示のように復号装置３は、複数の増幅器３１と複数のＤ／Ａコンバータ３２、及び後処理部３３、復号部３４を備えると共に、制御部３５、無線通信部３６、記憶部３７、及びバス３８を備えている。後処理部３３、復号部３４、制御部３５、無線通信部３６、及び記憶部３７はバス３８を介して接続され、互いにデータ通信可能とされている。
　制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、復号装置３の全体制御を行う。
　無線通信部３６は、例えばＢｌｕｅｔｏｏｔｈ等、再生装置３における無線通信部４５との間で通信が可能な方式による近距離無線通信を行う。再生装置３から送信された触覚符号化データＤｃは無線通信部３６により受信される。
　記憶部３７は、例えば記憶部２６や記憶部４４等と同様の記憶デバイスとされ、制御部３５等が用いる各種データの記憶に用いられる。
　復号部３４は、無線通信部３６を介して入力される触覚符号化データＤｃについて、後述する手法で復号を行い、部位ごとの触覚信号を得る。復号部３４で得られた部位ごとの触覚信号は後処理部３３に入力される。
　後処理部３３は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。
　後処理部３３を経た各触覚信号は、それぞれ対応する一つのＤ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、それぞれ対応する一つの増幅器３１で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置６に出力される。
　これにより、各触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚情報を再現することができる）。
　なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。
［1-5．実施形態としての触覚再現手法］
（符号化手法）

　以下、第一実施形態における第一例としての触覚再現手法について説明する。
　先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
　人間の触覚感度の目安として、図５に示す振動検出閾値曲線が報告されている。なお図５において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。
　図５に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
　図５に示す振動検出閾値曲線からは、人間が１ｋＨｚ程度までの振動を触覚刺激として感じ得ることが示されている。また、図５では１ｋＨｚ以上の値が記載されていないが、感度は高くないものの実際には数ｋＨｚ程度の周波数の振動でも人間は振動を触覚刺激として知覚し得ることが知られている。
　従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても２００Ｈｚ程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが２００Ｈｚ程度であることに起因している。
　しかしながら、上記の通り人間は１ｋＨｚまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
　例えば、ビンのコルク栓を抜いた際の振動は、現実では数ｋＨｚといった高い周波数を含んでいる。これを数１００Ｈｚまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
　そこで、本実施形態では、触覚信号と触覚提示装置６の特性を１ｋＨｚ程度まで広帯域化することで、より現実感を高めることとする。
　具体的に本実施形態では、現実に発生した振動等の触覚情報をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
　近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
　デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図５に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸（振動）が５０ｄＢ（－２０ｄＢ～３０ｄＢ）以上、横軸が１０００Ｈｚ程度である。本例では、実際に人間の感じる触覚情報の分布を考慮し、閾値曲線から＋２０ｄＢの範囲の信号をセンシングすることとする。
　これによると、対象とする１０００Ｈｚまでの周波数帯域において、振動の範囲は７０ｄＢ（－２０ｄＢ～５０ｄＢ）となる。
　このように対象とする周波数帯域を１０００Ｈｚまで、振動の範囲を７０ｄＢとすると、触覚信号をＬＰＣＭ（Linear Pulse Code Modulation）にてデジタル化する場合、１ビットで表現できるのは６ｄＢであるから縦軸については９ｂｉｔ、１０００Ｈｚまでを再現するためには２倍のサンプリング周波数である２０００Ｈｚ（sample/sec)が必要となるから、必要なビットレートＢ０は以下の［式１］で求められる。

　Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］
　この値自体は、例えば音声信号の代表的フォーマットであるＣＤ（Compact Disc）のビットレート＝７００kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。
　しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。
　また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。
　さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secを超える大きなものとなる。
　このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。
　ここで、触覚提示装置６は人体に接触することになるため、復号装置３と再生装置４とが有線で接続されているような形態では受触者に煩わしさを与えることになり、図１に示したように無線化することが望まれる。この際の無線通信を従来の主な無線方式で実現することを考えると、例えばＷｉ－Ｆｉ（登録商標）などの広帯域無線方式では、消費電力の大きさによりバッテリーが大容量化する虞があり、触覚提示装置６と復号装置３とを含むユニット部の小型化に影響がある。また、Ｗｉ－Ｆｉでは信号の送信要求が発生してから実際に受信されるまでの手続きに処理時間を要するため、大きな遅延が発生する虞がある。
　これに対し、Ｂｌｕｅｔｏｏｔｈなどの近距離無線方式であれば、他の無線方式に比べて低消費電力で低遅延に送受信する仕組みが利用できるため、触覚再現目的での利用に関して適していると考えられる。しかしながら、これら近距離無線通信では情報伝送量の制限があり、例えば音声信号と触覚信号を同期して送受信することを考えると、触覚信号に与えられるデータ量の余地は少ないと言える。
　また、インターネットを介して映像と音声をストリーミングするサービスが普及しているが、さらなる臨場感向上のために触覚情報も付加することを考えた場合、現在でも既に回線の通信速度が十分でないためＱｏＳ（Quality of Service）機能によるデータ量の調整が行われている中で、触覚情報に与えられるデータ量の余地は少ないと言える。
　上記事情に鑑み、触覚信号を高能率に符号化して伝送することが考えられる。例えば、振動信号を触覚信号として扱う場合、振動信号と同じ一次元信号である音声信号用の音声符号化方式、例えばＭＰ３(MPEG Audio Layer3）やＡＡＣ（Advanced Audio Coding）などをそのまま振動信号に適用することも考えられるが、音声符号化方式はそもそも人間の聴覚特性を考慮した符号化方式であり、触覚の特性は考慮されていないため、振動信号に適用したとしても、触覚に重要な情報を棄損する可能性が高く、最適な符号化を実現できるものではない。
　そこで、本実施形態では、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることにより、触覚再現システムの効率化を図ることを目的とする。
　先ず、図６及び図７を参照し、本実施形態で想定する触覚デバイスの具体例について説明しておく。
　図６は、指接触型の触覚デバイスの例を説明するための図である。具体的には、手の指に触覚情報を提示する際に用いられる触覚センサ５と各指との対応関係を模式的に表している。
　この場合、触覚センサ５としては、それぞれが対応する１本の指に対して装着される五つの触覚センサ５が設けられる。以下では、親指側から順に、各指に装着される触覚センサ５を符号の末尾に「－ａ」～「－ｅ」を付して区別する。
　なお、図６では触覚センサ５のみを例示しているが、触覚提示装置６についても同様に各指に対して装着されるべき五つの触覚提示装置６（６－ａ～６－ｅ）が設けられる。
　このような指接触型の触覚デバイスを用いた場合には、収録環境では、例えば指先で物体に触れた感触や、バットでボールを打った際に各指に生じる衝撃等をセンシングすることが可能とされ、片手で５チャンネル、両手なら１０チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境においては、触覚提示装置６－ａ～６－ｅをそれぞれ対応する指に装着された受触者に対し、物体に触れた感触、バットでボールを打った際の衝撃等を体感させることができる。
　なお、このような触覚再現を実現するための触覚デバイスとしては、例えば指サック型のように指ごとに独立した形態とすることや、グローブ型のような一体型の形態とすることもできる。
　図７は、胴接触型の触覚デバイスの例を説明するための図であり、具体的には、胸から腹にかけて触覚情報を提示する際に用いられる触覚センサ５とそれらの位置関係を模式的に表している。
　この図の例では、触覚センサ５は、胴体の前面側（胸及び腹側）において上下方向に三段に分けて配置している。各段において、左右方向における触覚センサ５の配置数は三つとされ、合計九つの触覚センサ５が胴体の前面側に配置される。図示のように、これら九つの触覚センサ５については符号の末尾に「－ｆ」～「－ｎ」を付して区別する。
　なお、図７では触覚センサ５のみを例示しているが、触覚提示装置６についても同様の位置関係による九つの触覚提示装置６（６－ｆ～６－ｎ）が設けられる。
　このような胴接触型の触覚デバイスを用いる場合には、収録環境では、例えば物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃などをセンシングすることで、前面で９チャンネル、背面と合わせると１８チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境では、触覚提示装置６－ｆ～６－ｎをそれぞれ収録環境における触覚センサ５－ｆ～５ーｎと対応する位置関係で装着された受触者に対し、物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃等を体感させることができる。
　なお、胴接触型の触覚デバイスについては、例えば図示のようなシャツ型の衣服、或いはジャケット型の衣服に対して設けることが考えられる。
　ここで、人間の他の感覚同様に、触覚においても高次知覚というものが報告されている。高次知覚とは、物理的な刺激の情報を脳が統合して、複雑な知覚に結び付けるもので、触覚の場合には主に「ファントムセンセーション」（Alles, D.S.: Information Transmission by Phantom Sensations, IEEE Trans. Man-machine Systems, Vol.11, pp.85-91, 1970）、及び「仮現運動」（Bekesy, G.V.: Sensation on the Skin Similar to Directional Hearing, Beats and Harmonics of the Ear, Journal of the Acoustic Society of America, Vol.29, No.4, pp.489-501, 1957）が報告されている。
　図８は、ファントムセンセーションについての説明図である。
　図８Ａでは、人体における或る程度離れたＡ～Ｃの３箇所のうち、両端のＡとＣに対してのみ触覚刺激を同時に与えていることを示している。ファントムセンセーションによると、図８Ｂに示すように、刺激されていないＢも、Ａ及びＣと同時に刺激されたように知覚されることになる。すなわち、ファントムセンセーションとは、刺激点と刺激点との間に、刺激像が知覚されるという現象である。この際、刺激点の刺激強度が異なる場合、刺激像は刺激強度が強い方に偏って知覚される。
　図９は、仮現運動についての説明図である。
　図９Ａでは、人体における或る程度離れたＡ～Ｄの４箇所に対して、ＡからＤまで順番に瞬間的な触覚刺激を時系列にて与えていることを示している。図９Ｂでは、図９Ａに示す刺激を与えたことに応じて知覚される刺激を表している。
　仮現運動は、刺激点の離散的な時系列移動によって、刺激点の間の刺激が補間され、あたかも刺激点が移動しているかのように知覚されるという現象を意味する。
　なお、ファントムセンセーションを利用して触覚刺激を知覚させること自体については、例えば下記参考文献１を挙げられるように公知である。

　参考文献１：特開２０１３－０４４７０６号公報
　本実施形態では、上記のような高次知覚を利用して触覚信号についての効率的な符号化を実現する。
　先ずは、図１０を参照し、ファントムセンセーションを利用した符号化の例について説明する。ここでは、触覚デバイスとして図６に示したような指接触型の触覚デバイスを用いる例とする。
　人間の指はその位置関係や関節の拘束条件により、何れかの指同士がある程度の近さの位置にあることが多い。そのため、或る触覚刺激に対して、何れかの指同士が同時に刺激を知覚することが多い。例えば、何らかの物体を手で拾う際に、複数の指先で同時に触れた後に掴むという動作になり、バットやハンドルを握る際に、複数の指先が同時に触れた状態になる。図１０Ａは、図６に示した触覚センサ５－ａ～５－ｅにより、実際にボールを拾った際に検出される触覚信号を示している。この図１０Ａより、ボールを拾った際には全ての指に同じような強度の触覚刺激が同時に知覚されることが分かる。
　この知覚を得るために、触覚提示装置６－ａ～６－ｅを用いて触覚再現を行うことを考えると、図１０Ａに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、各指の間にある指の刺激、具体的には、触覚センサ５－ｂ、５－ｄにより検出される触覚信号については、ファントムセンセーションの発生を利用することで、図１０Ｂに示すように、省略することができる。すなわち、収録すべき触覚情報の量を削減できるものである。
　この削減は、デジタル符号化において、使用チャンネル数が可変な仕組みであれば、触覚センサ５－ｂ、５－ｄのチャンネルを一時的に使用チャンネルから除外することで実現でき、これによると情報量を一時的に３／５に削減することができる（４０％の削減）。また、使用チャンネル数が固定になっている符号化方式であっても、触覚センサ５－ｂ、５－ｄの該当する期間における信号のシンボルにゼロを割り当てるという手法を採ることで、情報量の削減を図ることができる。すなわち、シンボルをゼロとすることは情報エントロピーを大きく削減することに繋がり、ハフマン符号化等のエントロピー符号化（可変長符号化）を採用する場合には非常に大きな情報量削減効果を得ることができる。また、情報量削減だけでなく、触覚提示装置６の駆動数を削減することになるため、省電力化と耐久性向上も図ることができる。
　図１１及び図１２を参照し、仮現運動を利用した符号化の例について説明する。
　ここでは、仮現運動を利用した符号化の例として、図７に示したような胴接触型の触覚デバイスを用いた場合の例を挙げる。
　人間の胴体は、比較的面積が広い部位であり、触覚刺激の移動や伝搬を知覚することが多い。臨場感向上のための演出としては、例えば、刀剣で斬りつけられる演出や虫などが這い回る演出等が挙げられる。ここでは、図１１に示すように、刀剣で図中の矢印方向に斬り付けられる演出を行う場合、具体的には、左胸上部から右腹部の方向に斬り付けられた後、右腹部から左腹部の方向に斬り付けられるような演出を行う場合を例に挙げる。
　図１２Ａは、このような演出を行う際に触覚センサ５－ｆ～５－ｎにおいて検出される信号を例示している。図示のようにこの場合は、触覚センサ５－ｈ、５－ｊ、５－ｌ、５－ｍ、５－ｎの順で触覚刺激が発生することが分かる。
　このような、或る物体の移動に伴う触覚刺激においては、触覚信号の性質（強度や周波数）そのものの違いよりも、移動している感覚の方に意識が向く。
　上記のような刀剣が移動している際の刺激は、図１２Ａに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、仮現運動の発生を利用して、触覚刺激の開始点と終了点の間を補間することで、同様の刺激を再現しながら、触覚信号を削減することができる。
　つまり、デジタル符号化において、信号の実データに対する付帯情報を使用する仕組みであれば、例えば図１２Ｂに示すように、触覚センサ５－ｈの触覚信号は収録する一方、触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎの触覚信号そのものは収録せず、代わりに、付帯情報として、触覚センサ５－ｈの触覚信号と同一の触覚信号を触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎの各位置で然るべき時間にて再生することを指示する情報を収録しておく（図中「付帯情報」）。これにより、刀剣が移動している際の刺激の再現を可能としつつ、情報量の削減を図ることができる。具体的に上記例では、該当する期間の情報量を（１／５）＋α（αは付帯情報の分）程度に削減することができる（８０－α％の削減）。
　なお、上記では、仮現運動を利用可能な触覚信号のチャンネルのうち、単一のチャンネルの触覚信号のみを収録する例を挙げたが、２以上のチャンネルの触覚信号を収録することも可能である。例えば、図１１で例示した刀剣で切り付けられる触覚刺激の場合においては、触覚センサ５－ｌの位置において刀剣の向きが変化すること等に起因して、触覚センサ５－ｈ～５－ｊの位置までの刺激と、触覚センサ５－ｌの位置以降の刺激とに性質の差が生じることも考えられ、その場合には、該刺激の差が忠実に再現されるべく、触覚センサ５－ｈによる触覚信号のみでなく触覚センサ５－ｌによる触覚信号も収録することが考えられる。
　図１３は、高次知覚を利用した符号化フォーマットの例を説明するための図である。
　ここで、デジタルの触覚信号としては、触覚センサ５で取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うＬＰＣＭ方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ（フレームヘッダ）を付加する。
　具体的には、図１３に示すようなデータ形式が考えられる。図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。
　フレームヘッダにおいては、先頭から順にシンク、使用チャンネルＩＤ、サンプリング周波数、量子化ビット数、ブロックサイズ、仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの各情報を格納する領域が定められている。
　シンクは、フレームの先頭を表わす識別子とされる。使用チャンネルＩＤは、触覚信号のチャンネルとして、システムが対応する最大数のチャンネルのうち使用するチャンネルの識別子を表す。
　サンプリング周波数、量子化ビット数は、それぞれ触覚信号のサンプリング周波数、１サンプル当りの量子化ビット数を表す。
　ブロックサイズは、フレームに格納される触覚信号の時間方向におけるサイズ（サンプル数）を表す。ここでのブロックは、触覚信号の時間方向における処理単位を表すものである。本実施形態では、ブロックサイズはフレームごとに変化させることが許容されている。なお、このようにブロックサイズが可変とされることの意義については後述する。
　仮現運動被利用チャンネルＩＤは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルに触覚信号が利用されるチャンネル（以下「被利用チャンネル」とも表記する）の識別子を表す。例えば、図１２Ｂに示した例の場合、仮現運動被利用チャンネルＩＤには、触覚センサ５－ｈに対応するチャンネルを表す情報が格納される。
　仮現運動利用チャンネルＩＤは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルの触覚信号を利用することになるチャンネル（以下「利用チャンネル」とも表記する）の識別子を表す。例えば、図１２Ｂに示した例の場合、仮現運動利用チャンネルＩＤには、触覚センサ５－ｈの触覚信号を利用することになる触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎのチャンネルを表す情報が格納される。
　ヘッダ領域に続く実データ領域には、所定のブロックサイズとされた各チャンネルの触覚信号が格納される。
　本実施形態の符号化によっては、上記のようなデータ構造とされたフレームが時間方向において並べられた態様によるストリームデータが得られる。前述した触覚符号化データＤｃは、このようなストリームデータの態様で収録、伝送される。
　なお、図示による説明は省略するが、ストリームデータにおいて、触覚信号の実データは、実際にはチャンネルごとにインタリーブされて格納される。
（符号化側の処理手順）

　続いて、図１４のフローチャートを参照し、上記した高次知覚を利用した触覚信号の符号化を実現するための具体的な処理の手順を説明する。
　なお、図１４に示す処理は、図２に示した符号化部２４が実行する。図１４に示す処理は、図１３で説明したフレームごとに実行される。
　図１４において、符号化部２４はステップＳ１０１で、あるチャンネルと類似した信号が同時に発生しているチャンネルがあるか否かを判定する。具体的に、符号化部２４は、前処理部２３を介して入力される各チャンネルの触覚信号について、一定の分析長にて分析を行い、同時発生している類似波形があるかを分析する。同時発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かにより判別する。ここで、類似波形というのは、信号同士において、時間包絡が類似している波形のことを言う。本例では、時間包絡が類似しているか否かの判定は、対比する信号同士の相関を計算して時間包絡類似度を求め、該時間包絡類似度が所定閾値以上か否かを判別することで行う。なお、時間包絡の類似の分析は、ＦＦＴ（高速フーリエ変換）等の周波数分析により行ってもよい。
　ステップＳ１０１において、あるチャンネルと類似した信号が同時に発生しているチャンネルがあると判定した場合、符号化部２４はステップＳ１０２に進み、ファントムセンセーションを利用可能なチャンネルがあるか否かを判定する。具体的には、類似波形が同時発生していると判定したチャンネルが３以上あり、且つそれらのチャンネルのうち、触覚センサ５の配置位置の面で３以上連続しているチャンネルがあるか否かを判定する。
　ファントムセンセーションを利用可能なチャンネルがあれば、符号化部２４はステップＳ１０３に進み、使用しないチャンネルを決定する。具体的には、例えば上記のように３以上連続しているチャンネルのうち偶数番目のチャンネルを使用しないチャンネルとして決定する。
　符号化部２４は、該ステップＳ１０３で使用しないチャンネルとして決定したチャンネルについては、後述するステップＳ１０７のフレームヘッダ付加処理において、フレームヘッダにおけるチャンネルＩＤの領域にチャンネルＩＤを格納せず、また実データ領域において触覚信号を格納しない。
　これにより、ファントムセンセーションを利用可能な場合に対応して、触覚信号の情報量を効果的に削減することができる。
　なお、上記では、ファントムセンセーションを利用した情報量の削減手法として、触覚刺激を省略可能なチャンネルを一時的に使用チャンネルから外す手法を例示したが、該チャンネルを使用チャンネルから外さず、該チャンネルの触覚信号の符号化シンボルにゼロを割り当てることでエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。
　符号化部２４は、ステップＳ１０３の処理を実行したことに応じ、後述するステップＳ１０６に処理を進める。
　また、符号化部２４は、ステップＳ１０１においてあるチャンネルと類似した信号が同時に発生しているチャンネルがないと判定した場合、又は、ステップＳ１０２においてファントムセンセーションを利用可能なチャンネルがないと判定した場合のそれぞれにおいて、処理をステップＳ１０４に進める。
　ステップＳ１０４で符号化部２４は、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあるか否かを判定する。ここで、センサ離間距離は、対象とするチャンネル間における触覚センサ５の離間距離を意味する。
　ステップＳ１０４で符号化部２４は、各チャンネルの触覚信号を一定の分析長（例えば２～３秒等）にて分析を行い、所定時間以内の時間差で発生している類似波形があるかを分析する。所定時間以内の時間差で発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かで判別する。また、類似波形は、ステップＳ１０１と同様の分析により判別する。
　ステップＳ１０４において、符号化部２４は、上記の分析に基づき、所定時間以内の時間差を持って類似波形が発生しているチャンネルの組があるか否かを判別し、該チャンネルの組がある場合には、該組におけるチャンネル同士のセンサ離間距離が所定距離以内であるか否か判別する。
　符号化部２４は、上記の判別により肯定結果が得られたチャンネルを「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として特定する手法により、ステップＳ１０４の判定処理を行う。
　上記のようなステップＳ１０４の処理により、例えば図１１に例示した刀剣で切り付けられる連続的な触覚刺激が発生した際には、該触覚刺激の発生時間長が一定の時間長（例えば２～３秒）以内であれば、「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として、触覚センサ５－ｈ・５－ｊのチャンネルの組、触覚センサ５－ｊ・５－ｌのチャンネルの組、触覚センサ５－ｌ・５－ｍのチャンネルの組、触覚センサ５－ｍ・５－ｎのチャンネルの組が特定されることになる。
　ステップＳ１０４において、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあると判定した場合、符号化部２４はステップＳ１０５に処理を進めて、仮現運動の被利用チャンネルと利用チャンネルの決定処理を行う。
　本例では、仮現運動に係る被利用チャンネルは、ステップＳ１０４での分析から仮現運動を利用可能とされるチャンネル（つまり図１１、図１２の例では触覚センサ５－ｈ、５－ｊ、５－ｌ、５－ｍ、５－ｎのチャンネル）のうち、触覚刺激のタイミングが最も早いチャンネルとする（図１１、図１２の例では触覚センサ５－ｈのチャンネル）。換言すれば、信号の立ち上がりタイミングが最早のチャンネルとする。
　また、仮現運動に係る利用チャンネルは、仮現運動を利用可能とされるチャンネルのうち、２番目以降の触覚刺激を発生させるべきチャンネルとする。
　ここで、符号化部２４は、処理対象としているフレームが、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、最早の触覚刺激タイミングに対応するフレーム（以下「初期フレーム」と表記する）である場合と、２番目以降の触覚刺激タイミングに対応するフレーム（以下「非初期フレーム」と表記する）である場合とで、それぞれ異なるフレームヘッダ付加処理を行う。
　具体的に、処理対象としているフレームが初期フレームである場合、符号化部２４は、ステップ１０７のフレームヘッダ付加処理において、フレームヘッダにおける被利用チャンネルＩＤには上述した触覚刺激のタイミングが最も早いチャンネルを表す値を格納し、利用チャンネルＩＤには無効値（つまり該当するチャンネルがない旨を表す値：例えば０）を格納する。
　一方、処理対象としているフレームが非初期フレームである場合、符号化部２４は、ステップＳ１０７のフレームヘッダ付加処理において、被利用チャンネルＩＤには無効値（例えば０）を格納し、利用チャンネルＩＤには、仮現運動を利用可能とされるチャンネルのうち、当該フレームの期間内において触覚信号の立ち上がりが検知されているチャンネルを表す値を格納する。
　ここで、処理対象としているフレームが非初期フレームである場合には、利用チャンネルの触覚信号を実データ領域に格納することは必須ではなく、例えば、利用チャンネルを使用チャンネルから外す手法を採ることでの情報量削減を図ることができる。或いは、利用チャンネルにおける触覚信号の符号化シンボルにゼロを割り当ててエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。
　符号化部２４は、ステップＳ１０５の決定処理を実行した場合、又はステップＳ１０４においてあるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがないと判定した場合のそれぞれにおいて、ステップＳ１０６に処理を進める。
　ステップＳ１０６で符号化部２４は、ブロックサイズ決定処理を行う。ブロックサイズについては、ステップＳ１０１又はＳ１０４での波形分析の結果に基づき、信号の立ち上がりがフレームの先頭となるように決定する。具体的に、ファントムセンセーション利用時であれば、例えば図１５Ａの上部の両矢印で表す範囲をブロックサイズとする。また、仮現運動であれば、例えば図１５Ｂの上部の両矢印で表す範囲をブロックサイズとする。
　なお、図１５Ａ、図１５Ｂでは、一つの触覚刺激の期間を一つのブロック内に収める例を示しているが、複数のブロックに分割して収めることも可能である。
　図１４において、符号化部２４は、ステップＳ１０６のブロックサイズ決定処理を実行したことに応じ、ステップＳ１０７のフレームヘッダ付加処理を実行する。なお、ファントムセンセーション利用時、仮現運動利用時それぞれで実行されるべきフレームヘッダ付加処理の内容については既に説明したため重複説明を避ける。
　符号化部２４は、ステップＳ１０７の処理を実行したことに応じて図１４に示す一連の処理を終える。
（復号側の機能構成・処理手順）

　続いて、上記手法により符号化された触覚信号の復号について説明する。
　図１６は、復号装置３が有する復号に係る機能を説明するための機能ブロック図である。
　図示のように復号装置３は、取得処理部Ｆ１と復号処理部Ｆ２としての機能を有している。
　取得処理部Ｆ１は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データＤｃを取得する。この取得処理部Ｆ１としての機能は、本例では、無線通信部３６が再生装置４側から触覚符号化データＤｃを受信する機能に相当する。
　復号処理部Ｆ２は、取得処理部Ｆ２が取得した触覚符号化データＤｃを復号する。取得処理部Ｆ２としての機能は、復号部３４により実現される。
　本例では、取得処理部Ｆ１は、ファントムセンセーションや仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データＤｃを取得する。
　ファントムセンセーションが利用される場合、取得処理部Ｆ１は、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報（本例では使用チャンネルＩＤ）が含まれた触覚符号化データＤｃを取得する。そして、復号処理部Ｆ２は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力する。
　これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置３では、符号化データを解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
　また、取得処理部Ｆ１は、仮現運動が利用される場合は、仮現運動の利用有無を示す利用有無情報が含まれた触覚符号化データＤｃを取得し、復号処理部Ｆ２は、利用有無情報に基づいて触覚符号化データＤｃを復号する。本例では、利用有無情報は、フレームヘッダにおける仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報が該当する。
　前述のように、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうちの初期フレームにおいては、仮現運動被利用チャンネルＩＤには有効値が、仮現運動利用チャンネルＩＤには無効値が格納されるので、復号処理部Ｆ２は、これら仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報に基づき、当該フレームに被利用チャンネルとしてのチャンネルがある旨、及び被利用チャンネルのチャンネルＩＤを識別可能とされる。
　また、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、２番目以降の触覚刺激タイミングに対応するフレームにおいては、仮現運動被利用チャンネルＩＤには無効値が、仮現運動利用チャンネルＩＤには有効値が格納されるため、復号処理部Ｆ２は、これら仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報に基づき、当該フレームに初期フレームにおける被利用チャンネルの波形部分を利用すべきチャンネルがある旨、及び該波形部分を利用すべき（出力すべき）チャンネルのチャンネルＩＤを識別可能とされる。
　また、仮現運動が利用される場合、取得処理部Ｆ１は、仮現運動の利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれた触覚符号化データＤｃを取得し、復号処理部Ｆ２は、出力制御情報に従って単一のチャンネルの触覚信号を出力する。
　出力制御情報は、本例ではフレームヘッダにおける仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報が該当する。仮現運動利用チャンネルＩＤの情報は、適切なフレームにおいて有効値が格納されることで、初期フレームの仮現運動被利用チャンネルにおける触覚信号の出力チャンネルと出力タイミングとを表す情報として機能する。
　図１７のフローチャートを参照し、上記のような実施形態としての復号機能を実現するために実行すべき具体的な処理手順を説明する。
　なお、図１７に示す処理は、復号部３４が触覚符号化データＤｃのフレームごとに実行する。
　先ず、復号部３４はステップＳ２０１で、フレームヘッダ解析処理を実行し、続くステップＳ２０２で、仮現運動を利用しているか否かを判定する。具体的には、仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの少なくとも何れかに有効値が格納されているか否かを判定する。
　仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの少なくとも何れかに有効値が格納されているとの条件が満たされておらず、仮現運動を利用していないと判定した場合、復号部３４はステップＳ２０５に進んで使用チャンネルの触覚信号を出力する処理を実行する。これにより、処理対象としているフレームがファントムセンセーション、仮現運動の何れの利用にも係らないフレームである場合や、ファントムセンセーションの利用に係るフレームである場合に対応して、使用チャンネルＩＤが表す使用チャンネルの触覚信号が出力される。
　復号部３４はステップＳ２０５の出力処理を実行したことに応じ、後述するステップＳ２０７に処理を進める。
　一方、ステップＳ２０２で仮現運動を利用していると判定した場合、復号部３４はステップＳ２０３に進み、仮現運動を利用する初期フレームか否かを判定する。具体的には、仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤのうち前者にのみ有効値が格納されているか否かを判定する。
　仮現運動被利用チャンネルＩＤにのみ有効値が格納されており、仮現運動を利用する初期フレームであると判定した場合、復号部３４はステップＳ２０４に進み、被利用チャンネルの触覚信号を記憶する処理を実行した後、ステップＳ２０５に進む。
　なお、ステップＳ２０４の処理の実行後、ステップＳ２０５の処理が実行されることで、初期フレームにおいて被利用チャンネルの触覚信号が出力される。
　また、ステップＳ２０３において、仮現運動被利用チャンネルＩＤにのみ有効値が格納されているとの条件が満たされず、仮現運動を利用する初期フレームではないと判定した場合、復号部３４はステップＳ２０６に進む。なお、ステップＳ２０３で否定結果が得られる場合とは、すなわち仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤのうち仮現運動利用チャンネルＩＤにのみ有効値が格納されている場合となる。
　ステップＳ２０６で復号部３４は、記憶された被利用チャンネルの触覚信号を利用チャンネルの信号として出力する処理を行い、ステップＳ２０７に処理を進める。
　ステップＳ２０７で復号部３４は、全チャンネル分の復号が完了したか否かを判定し、否定結果が得られた場合はステップＳ２０２に戻り、肯定結果が得られた場合はこの図に示す一連の処理を終える。
　上記のような復号処理により、高次知覚を利用して情報量を圧縮する符号化が行われた触覚符号化データＤｃを適切に復号することができ、収録環境にてセンシングされた触覚情報の再現が高次知覚を利用して適切に行われるようにすることができる。
［1-6．第一実施形態の変形例］

　上記では、触覚信号を触覚センサ５によりセンシングする例を挙げたが、触覚信号は、音声信号に基づき得られたものでもよい。
　例えば、サンプリング周波数４８ｋＨｚの音声信号にローパスフィルタ（ＬＰＦ）処理を施して得たものを使用してもよい。
　図１８は、触覚信号を音声信号に基づき得る場合における符号化側の構成を例示している。
　図１８では、音声信号が例えば５．１チャンネルサラウンドの音声信号とされた場合に対応した構成を例示している。図示のように音声信号のチャンネルごとにＬＰＦ５０を用意し、これらＬＰＦ５０により音声信号の低域成分（例えば２ｋＨｚ以下）を抽出して各チャンネルの触覚信号を得る。符号化部２４Ａは、これらＬＰＦ５０により得られた各チャンネルの触覚信号について、符号化部２４と同様の符号化処理を行って触覚符号化データＤｃを得る。
　例えば、５．１チャンネルや７．１チャンネル等のサラウンドコンテンツ等、音源の定位する位置が空間的に移動し得るコンテンツであれば、疑似的に指の間を移動する感覚や、疑似的に胸から腹にかけて移動する感覚等、人体の異なる部位間を移動する感覚を再現することができる。
　この場合、復号装置３は、符号化部２４Ａで得られた触覚符号化データＤｃを取得し、取得した触覚符号化データＤｃについて復号部３４が図１７と同様の復号処理を行う。
＜２．第二実施形態＞
［2-1．触覚再現システムの概要］

　続いて、第二実施形態の触覚再現システム１Ｂについて説明する。
　第二実施形態は、高次知覚に係る感度の個人差に応じて、高次知覚の利用可否の判定基準を可変とするものである。
　図１９は、触覚再現システム１Ｂの構成例を示した図である。
　なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
　触覚再現システム１Ｂは、再生装置４Ｂ、復号装置３、複数の触覚提示装置６（本例においても少なくとも３以上であるとする）、及び表示装置７を備えている。
　再生装置４Ｂは、触覚データＤｈを取得可能に構成されている。触覚データＤｈは、デジタルデータとされた各チャンネルの触覚信号を指すものであり、本例では実施形態としての符号化、すなわち高次知覚を利用して情報量を圧縮する符号化が施される前の触覚信号とされる。
　再生装置４Ｂは、触覚データＤｈについて実施形態としての符号化を行い、該符号化により得られた触覚符号化データＤｃを無線通信により復号装置３に送信することが可能に構成されている。
　また再生装置４Ｂは、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされた表示装置７が接続されており、表示装置７に各種の情報を表示させることが可能に構成されている。
［2-2．再生装置の構成］

　図２０は、再生装置４Ｂの内部構成例を説明するための図であり、再生装置４Ｂの内部構成例と共に表示装置７を併せて示している。
　再生装置４Ｂは、図３に示した再生装置４と比較して、制御部４１に代えて制御部４１Ｂが設けられた点と、符号化部２４Ｂ、操作部６０、及び表示制御部６１が追加された点が異なる。
　再生装置４Ｂは、メディアドライブ４３経由、或いは通信部４２を介した通信により触覚データＤｈを取得可能とされている。
　符号化部２４Ｂは、触覚データＤｈ、すなわち各チャンネルの触覚信号を入力し、実施形態としての符号化処理を行って触覚符号化データＤｃを得る。
　符号化部２４との差異点は、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、及び仮現運動を利用した符号化を行うか否かについて判定基準を変化させることが可能に構成された点である。
　先の説明から理解されるように、実施形態では、ファントムセンセーションを利用可能であるか否かの判定は、対比するチャンネル間で、触覚信号の時間包絡波形の類似度が所定閾値以上であること、及び触覚信号の立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。また、仮現運動を利用可能であるか否かの判定としても、対比するチャンネル間で、時間包絡波形の類似度が所定閾値以上であること、及び立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。
　本例の符号化部２４Ｂは、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、仮現運動を利用した符号化を行うか否かについて判定基準として、上記のような時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値を少なくとも変更可能に構成されている。
　操作部６０は、再生装置４Ｂに設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部４１Ｂに出力する。
　制御部４１Ｂは、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、再生装置４Ｂの全体制御を行う。
　なお、制御部４１Ｂが実行する実施形態としての処理については以下で改めて説明する。
　表示制御部６１はバス４６に接続され、制御部４１Ｂからの指示に基づき表示装置７の表示制御を行う。これにより制御部４１Ｂは、表示装置７に各種の情報を表示させることが可能とされる。
［2-3．符号化手法］

　第二実施形態において、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、ファントムセンセーションや仮現運動を知覚し易いほど、それらファントムセンセーションや仮現運動を利用した符号化が行われ易くなるように変化させる。
　ここでは、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、上述した時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値であるとする。以下の説明において、これらの閾値をまとめて「高次知覚適用閾値」と呼ぶことにする。
　高次知覚適用閾値を受触者の高次知覚に係る感度に応じて定める手法については種々考えられるが、ここでは一例として、受触者に対して試験的に触覚刺激を与え、該触覚刺激に対する受触者からの回答に応じて高次知覚に係る感度を推定し、推定した感度に応じて高次知覚適用閾値を定める手法を説明する。
　図２１は、第二実施形態としての符号化手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。
　なお、図２１に示す処理は、本例では制御部４１Ｂが実行する。
　ここでは、触覚デバイスとして図６に示した指接触型の触覚デバイスが用いられる場合に対応した処理を説明するものとし、図中の「ａ」～「ｅ」は、図６に示した触覚デバイスそれぞれの位置を表すものとする。
　先ず、制御部４１ＢはステップＳ３０１～Ｓ３０３で、それぞれａとｃ、ｂとｄ、ｃとｅを同時刺激時に、ｂ、ｃ、ｄに刺激をどの程度感じるかの回答情報を取得するための処理を実行する。
　これらステップＳ３０１～Ｓ３０３の処理は、無線通信部４５を介して復号装置３側に該当する位置の触覚提示装置６を同時駆動する指示を行うと共に、表示装置７に回答情報の受け付け画面を表示させて、操作部６０に対する操作入力を受け付ける処理として実行する。この際、触覚提示装置６の駆動信号は一定の強さのパルス信号とする。
　この場合の回答情報としては、受触者が感じたファントムセンセーションの度合いを３段階で表すスコア（１：刺激された指の間に刺激を感じない／２：感じる／３：強く感じる等）の情報であるとする。
　ステップＳ３０３に続くステップＳ３０４で制御部４１Ｂは、ａ～ｅを順次刺激時に移動感をどの程度感じるかの回答情報を得るための処理を実行する。
　この処理は、無線通信部４５を介して復号装置３側に該当する位置の触覚提示装置６を順次駆動させる指示を行うと共に、表示装置７に回答情報の受け付け画面を表示させて、操作部６０に対する操作入力を受け付ける処理として実行する。
　この場合の回答情報としては、受触者が感じた仮現運動の度合いを３段階で表すスコア（１：移動感を感じない／２：感じる／３：強く感じる等）の情報であるとする。
　ステップＳ３０４に続くステップＳ３０５で制御部４１Ｂは、ステップＳ３０１～Ｓ３０４で回答情報として得られたスコアの平均を算出し、ステップＳ３０６でスコア平均値と高次知覚適用閾値直線に基づいた高次知覚適用閾値を求める処理を行う。
　図２２は、高次知覚適用閾値直線の例を示している。
　図２２では、高次知覚適用閾値が、前述した時間包絡波形の類似度についての閾値である場合に対応した高次知覚適用閾値直線を例示している。
　図示のようにこの場合の高次知覚適用閾値直線は、スコア平均値が高くなるほど高次知覚適用閾値が小さくなるようにしている。すなわち、高次知覚に係る感度が高いほど、時間包絡波形の類似度についての閾値が低くなる設計とされており、高次知覚に係る感度が高いほど、高次知覚を利用した情報圧縮が行い易くなる。図中に例示した高次知覚適用閾値直線によると、スコア平均値が２．３３のときに高次知覚適用閾値として０．４８が求まる。
　なお、高次知覚適用閾値が信号立ち上がり時間の差についての閾値である場合、高次知覚適用閾値直線は、逆にスコア平均値が高くなるほど高次知覚適用閾値が小さくなる設計とすればよい。
　上記処理を行うことで、受触者の高次知覚に係る感度に応じて、触覚信号のデータ量を効率的に削減することが可能となる。
　なお、上記ではファントムセンセーションと仮現運動とで共通の高次知覚適用閾値を設定する例を挙げたが、高次知覚適用閾値はファントムセンセーションと仮現運動とで別々の閾値とすることもできる。
　ここで、受触者となるユーザには、触覚信号の質を落としてでも伝送途切れを防ぎたいユーザや、逆に伝送途切れが多少起きてでも触覚信号の質にこだわるようなユーザ等、嗜好が異なるユーザの存在が想定され、それらのユーザに対して、高次知覚適用閾値を自身で調整することができるようにする仕組みを提供することも考えられる。
　図２３は、高次知覚適用閾値を調整するためのＧＵＩ（Graphical User Interface）の例を示した図であり、具体的には、高次知覚適用閾値の調整のために表示装置７の表示画面７ａ上に表示される画像の例を示している。
　先の図２１では、高次知覚適用閾値という表現を用いたが、図２３では対象とする各指の組合わせごとに、高次知覚を利用した符号化の適用され易さを表す指標を「適用閾値」と表している。つまり、図２１ではユーザの高次知覚に係る感度を事前調査して閾値を定めていたのを、図２３ではユーザ自らが好みに応じて適用閾値を定めることができるようになっている。図２３の例では、ファントムセンセーション、仮現運動それぞれについて適用閾値を調整可能なＧＵＩとされている。
　ユーザは、適用閾値を低く設定することで、高次知覚を利用した情報圧縮がより頻繁に行われるようにし、伝送途切れ防止や省電力化が図られるようにすることができる。逆に、適用閾値を高く設定することで、高次知覚を利用した情報圧縮が殆ど行われないようにし、できるだけ触覚再現の精度を低下させないようにすることができる。
　また、図２３のＧＵＩでは、ファントムセンセーションの適用閾値について、ａ－ｃ間、ｂ－ｄ間、ｃ－ｅ間の各指の組合わせごとに適用閾値を調整可能としているが、これにより、例えば人差し指の感覚は鋭いが他の指の感覚はそれほどでもないと自覚しているユーザは、ａ－ｃ間のファントムセンセーション適用閾値を高めに設定して他の適用閾値を低めに設定することで、鋭敏な人差し指の触覚情報が損なわれないようにしつつ、他の指の情報を圧縮してデータ量の削減を図ることができる。
＜３．実施形態のまとめ＞

　上記のように実施形態としての復号装置（同３）は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部（復号処理部Ｆ２、復号部３４）を備えるものである。
　これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
　また、高次知覚を利用すれば、本来は触覚信号を出力すべきチャンネル（部位）について、触覚信号の出力を不要とすることが可能となるため、触覚提示装置の駆動回数削減が図られ、触覚提示装置の省電力化や耐久性向上を図ることができる。
　また、実施形態としての復号装置においては、復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。
　これにより、人体の３以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
　さらに、実施形態としての復号装置においては、触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、復号部は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力している。
　これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
　従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
　さらにまた、実施形態としての復号装置においては、復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。
　これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
　従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
　また、実施形態としての復号装置においては、触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、復号部は、利用有無情報に基づいて触覚符号化データを復号している。
　これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。
　従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
　さらに、実施形態としての復号装置においては、触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、復号部は、出力制御情報に従って単一のチャンネルの触覚信号を出力している。
　これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。
　従って、触覚信号のデータ量のさらなる削減を図ることができ、触覚再現システムのさらなる効率化を図ることができる。
　さらにまた、実施形態としての復号装置においては、単一のチャンネルは、利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされている。
　これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、２番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。
　従って、単一チャンネルの触覚信号のみを用いて仮現運動を利用した触覚再現を実現するにあたり、徒に遅延が発生することの防止を図ることができる。
　また、実施形態としての復号装置においては、復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた触覚符号化データを復号している。
　これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。
　従って、上述したファントムセンセーションや仮現運動の利用時のように触覚信号中の特定の波形部分のみを対象としたいときに、復号装置において、触覚信号中から信号解析により該波形部分を抽出する処理を行う必要がなくなり、高次知覚を利用して符号化された触覚信号の復号に係る処理負担の軽減を図ることができる。
　さらに、実施形態としての復号装置においては、触覚信号は触覚センサの検出信号に基づく信号とされている。
　これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。
　従って、触覚の再現性を高めることができる。
　さらにまた、実施形態としての復号装置においては、触覚信号は音声信号に基づく信号とされている。
　これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。
　従って、例えば音源が定位する位置の変化に応じて触覚刺激を与える部位を変化させる等、音声情報の変化に連動した興趣の高い触覚再現を実現することができる。
　また、実施形態としての復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。
　このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。
　ここで、これまでで説明した符号化部（２４、２４Ａ、２４Ｂ）や復号部（３４）による機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置（情報処理装置）が読み出し可能な記憶装置に記憶される。
　実施形態としてのプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。
　このようなプログラムによって、上記した実施形態としての復号装置を実現することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜４．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
　復号装置。
（２）
　前記復号部は、
　ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
　前記（１）に記載の復号装置。
（３）
　前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
　前記復号部は、
　前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
　前記（２）に記載の復号装置。
（４）
　前記復号部は、
　仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
　前記（１）乃至（３）の何れかに記載の復号装置。
（５）
　前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
　前記復号部は、
　前記利用有無情報に基づいて前記触覚符号化データを復号する
　前記（４）に記載の復号装置。
（６）
　前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
　前記復号部は、
　前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
　前記（５）に記載の復号装置。
（７）
　前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
　前記（６）に記載の復号装置。
（８）
　前記復号部は、
　時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
　前記（１）乃至（７）の何れかに記載の復号装置。
（９）
　前記触覚信号は触覚センサの検出信号に基づく信号とされた
　前記（１）乃至（８）の何れかに記載の復号装置。
（１０）
　前記触覚信号は音声信号に基づく信号とされた
　前記（１）乃至（８）の何れかに記載の復号装置。
　１、１Ｂ　触覚再現システム、２　符号化装置、３　復号装置、４、４Ｂ　再生装置、５　触覚センサ、６　触覚提示装置、７　表示装置、７ａ　表示画面、Ｄｃ　符号化データ、２４、２４Ａ、２４Ｂ　符号化部、３４　復号部、３６　無線通信部、Ｆ１　取得処理部、Ｆ２　復号処理部、５０　ＬＰＦ（ローパスフィルタ）Ｄｈ　触覚データ、６０　操作部

Claims (12)

  1. 　触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
    　復号装置。
  2. 　前記復号部は、
    　ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
    　請求項１に記載の復号装置。
  3. 　前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
    　前記復号部は、
    　前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
    　請求項２に記載の復号装置。
  4. 　前記復号部は、
    　仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
    　請求項１に記載の復号装置。
  5. 　前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
    　前記復号部は、
    　前記利用有無情報に基づいて前記触覚符号化データを復号する
    　請求項４に記載の復号装置。
  6. 　前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
    　前記復号部は、
    　前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
    　請求項５に記載の復号装置。
  7. 　前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
    　請求項６に記載の復号装置。
  8. 　前記復号部は、
    　時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
    　請求項１に記載の復号装置。
  9. 　前記触覚信号は触覚センサの検出信号に基づく信号とされた
    　請求項１に記載の復号装置。
  10. 　前記触覚信号は音声信号に基づく信号とされた
    　請求項１に記載の復号装置。
  11. 　触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する
    　復号方法。
  12. 　触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させる
    　プログラム。
PCT/JP2019/017709 2018-06-28 2019-04-25 復号装置、復号方法、プログラム WO2020003727A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE112019003217.8T DE112019003217T5 (de) 2018-06-28 2019-04-25 Decodiervorrichtung, Decodierverfahren und Programm
US17/254,792 US20210266010A1 (en) 2018-06-28 2019-04-25 Decoding apparatus, decoding method, and program
CN201980041844.1A CN112313604A (zh) 2018-06-28 2019-04-25 解码设备、解码方法和程序
JP2020527237A JPWO2020003727A1 (ja) 2018-06-28 2019-04-25 復号装置、復号方法、プログラム
JP2023084097A JP2023116488A (ja) 2018-06-28 2023-05-22 復号装置、復号方法、プログラム
US18/481,416 US20240030936A1 (en) 2018-06-28 2023-10-05 Decoding apparatus, decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018122962 2018-06-28
JP2018-122962 2018-06-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/254,792 A-371-Of-International US20210266010A1 (en) 2018-06-28 2019-04-25 Decoding apparatus, decoding method, and program
US18/481,416 Continuation US20240030936A1 (en) 2018-06-28 2023-10-05 Decoding apparatus, decoding method, and program

Publications (1)

Publication Number Publication Date
WO2020003727A1 true WO2020003727A1 (ja) 2020-01-02

Family

ID=68986331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017709 WO2020003727A1 (ja) 2018-06-28 2019-04-25 復号装置、復号方法、プログラム

Country Status (5)

Country Link
US (2) US20210266010A1 (ja)
JP (2) JPWO2020003727A1 (ja)
CN (1) CN112313604A (ja)
DE (1) DE112019003217T5 (ja)
WO (1) WO2020003727A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021176842A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 復号装置、復号方法、プログラム、符号化装置、符号化方法
JPWO2021220339A1 (ja) * 2020-04-27 2021-11-04

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272360B2 (ja) 2018-06-28 2023-05-12 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、復号方法、プログラム
WO2020008716A1 (ja) 2018-07-03 2020-01-09 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム
WO2020031483A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 復号装置、復号方法、プログラム
FR3127829B1 (fr) * 2021-10-01 2023-10-20 Actronika Procédé de pilotage d'une pluralité d'actionneurs haptiques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
JP2015053038A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 周波数シフトを用いたハプティック変換システム
JP2018060313A (ja) * 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930590B2 (en) * 2002-06-10 2005-08-16 Ownway Biotronics, Inc. Modular electrotactile system and method
CN102971689B (zh) * 2010-06-28 2015-10-07 诺基亚公司 触觉表面压缩
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
JP2015121918A (ja) * 2013-12-24 2015-07-02 株式会社ニコン 振動装置及び電子機器
WO2015116835A1 (en) * 2014-01-29 2015-08-06 The Guitammer Company Haptic-tactile, motion or movement signal conversion system and assembly
US9454915B2 (en) * 2014-08-20 2016-09-27 Thieab Ibrahim Aldossary Electro tactile communication apparatus, method, and computer program product
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
JP6971553B2 (ja) * 2016-06-10 2021-11-24 任天堂株式会社 ゲームコントローラ
JP6943807B2 (ja) * 2018-04-17 2021-10-06 株式会社東海理化電機製作所 触覚情報呈示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
JP2015053038A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 周波数シフトを用いたハプティック変換システム
JP2018060313A (ja) * 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIZUKAMI, YOHSUKE: "Tactile Transmission by Higher-level Perception Using Vibration of Shape Memory Alloy Thread", IPSJ JOURNAL, vol. 48, no. 12, 15 December 2007 (2007-12-15), pages 3739 - 3749 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021176842A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 復号装置、復号方法、プログラム、符号化装置、符号化方法
JPWO2021220339A1 (ja) * 2020-04-27 2021-11-04

Also Published As

Publication number Publication date
CN112313604A (zh) 2021-02-02
US20240030936A1 (en) 2024-01-25
JPWO2020003727A1 (ja) 2021-08-02
JP2023116488A (ja) 2023-08-22
US20210266010A1 (en) 2021-08-26
DE112019003217T5 (de) 2021-04-08

Similar Documents

Publication Publication Date Title
WO2020003727A1 (ja) 復号装置、復号方法、プログラム
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
US20230419795A1 (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program
US11496152B2 (en) Decoding device, decoding method, and program
JP2017509181A (ja) ジェスチャ相互作用式の装着可能な空間オーディオシステム
US11482086B2 (en) Drive control device, drive control method, and program
US11967976B2 (en) Coding device, coding method, decoding device, decoding method, and program
JP7272360B2 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
WO2020031527A1 (ja) 信号生成装置、信号生成方法、プログラム、再生装置
WO2020158596A1 (ja) 復号装置、復号方法、及びプログラム
CN108028055A (zh) 信息处理装置、信息处理系统和程序
WO2021220659A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
KR20210116457A (ko) 복호 장치, 복호 방법 및 프로그램
WO2024018922A1 (ja) 信号処理装置、信号処理方法、プログラム
US20240017166A1 (en) Systems and methods for generating real-time directional haptic output

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19825147

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527237

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19825147

Country of ref document: EP

Kind code of ref document: A1