WO2019244625A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2019244625A1
WO2019244625A1 PCT/JP2019/022259 JP2019022259W WO2019244625A1 WO 2019244625 A1 WO2019244625 A1 WO 2019244625A1 JP 2019022259 W JP2019022259 W JP 2019022259W WO 2019244625 A1 WO2019244625 A1 WO 2019244625A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptic
data
signal
haptic signal
base
Prior art date
Application number
PCT/JP2019/022259
Other languages
English (en)
French (fr)
Inventor
諒 横山
伊藤　鎮
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020207034694A priority Critical patent/KR20210020003A/ko
Priority to EP19823576.4A priority patent/EP3809240A4/en
Priority to US17/052,623 priority patent/US11462084B2/en
Priority to CN201980038960.8A priority patent/CN112292654B/zh
Publication of WO2019244625A1 publication Critical patent/WO2019244625A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program, and more particularly, to an information processing apparatus, an information processing method, and a program capable of transmitting and receiving multi-channel tactile data with low delay.
  • the number of transducers increases, the number of channels of haptic data transmitted to the jacket increases, and the transmission time of haptic data for the increased number of channels may increase.
  • the present disclosure has been made in view of such a situation, and in particular, has been made to enable efficient transmission and reception of multi-channel tactile data.
  • An information processing apparatus, an information processing method, and a program encode an input haptic signal including a parameter defining a plurality of base haptic signals in a group of base haptic signals constituting the input haptic signal.
  • An information processing apparatus comprising: an encoding unit that encodes data; and a transmission unit that transmits the encoded data to a receiving device that provides a haptic presentation to a haptic presentation unit that performs a haptic presentation based on an output haptic signal based on the encoded data.
  • an input haptic signal is encoded into encoded data including a parameter defining a plurality of base haptic signals in a group of base haptic signals constituting the input haptic signal;
  • the encoded data is transmitted to a receiving device that causes a tactile presentation unit that performs a tactile presentation based on an output tactile signal based on the encoded data to make a tactile presentation.
  • An information processing apparatus, an information processing method, and a program receive encoded data including a parameter that defines a plurality of base haptic signals in a group of base haptic signals that form an input haptic signal.
  • An information processing apparatus including: a receiving unit; and a decoding unit configured to synthesize the base haptic signal and decode the synthesized haptic signal into an output haptic signal based on a parameter that defines the plurality of base haptic signals included in the received encoded data.
  • encoded data including a parameter defining a plurality of base haptic signals in a group of base haptic signals constituting an input haptic signal is received, and encoded data included in the received encoded data is included.
  • the base haptic signal is synthesized and decoded into an output haptic signal based on the parameters defining the plurality of base haptic signals.
  • FIG. 1 is a diagram illustrating an overview of the present disclosure.
  • FIG. 3 is a diagram illustrating an outline of encoding of haptic data according to the present disclosure.
  • FIG. 3 is a diagram illustrating an outline of decoding of haptic data according to the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a content reproduction system according to the present disclosure. It is a figure explaining the example of composition of the best type tactile sense presentation device. It is a figure explaining the example of composition of a wristband type tactile sense presentation device.
  • FIG. 2 is a diagram illustrating a configuration example of a portable device type tactile presentation device.
  • FIG. 5 is a diagram illustrating a configuration example of the transmission device of FIG. 4.
  • FIG. 5 is a diagram illustrating a configuration example of the transmission device of FIG. 4.
  • FIG. 5 is a diagram illustrating a configuration example of the receiving device in FIG. 4. It is a figure explaining the encoding processing and the decoding processing of tactile data. It is a figure explaining the encoding processing and the decoding processing of tactile data. It is a figure explaining the encoding processing and the decoding processing of tactile data. It is a figure explaining the encoding processing and the decoding processing of tactile data.
  • FIG. 3 is a diagram illustrating a method for expressing multi-channel encoded data.
  • FIG. 3 is a diagram illustrating a method for expressing multi-channel encoded data.
  • FIG. 3 is a diagram illustrating a method for expressing multi-channel encoded data. It is a flowchart explaining a reproduction process. It is a flowchart explaining a haptic data encoding process.
  • FIG. 15 is a flowchart illustrating a reproduction process according to a first modification.
  • 13 is a flowchart illustrating a reproduction process according to a second modification. It is a flowchart explaining the reproduction
  • It is a figure explaining the haptic data encoding processing using machine learning.
  • It is a figure explaining the haptic data encoding processing using machine learning.
  • It is a figure explaining the example of composition of a learning device.
  • 25 is a flowchart illustrating a learning process performed by the learning device of FIG. 24.
  • 9 is a flowchart illustrating a haptic data encoding process using machine learning.
  • FIG. 2 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 shows an outline of the configuration of a content reproduction system that reproduces content including tactile data according to the present disclosure.
  • the content reproduction system 1 of FIG. 1 includes a transmission device 10, a reception device 11, a display device 12, and a vest-type tactile presentation device 13 worn by a user 21, each of which is wired or wireless, not shown.
  • a communication path is secured, and data can be mutually exchanged.
  • the transmitting device 10 supplies the receiving device 11 with contents including moving image data, audio data, and tactile data.
  • the receiving device 11 supplies the content including the moving image data and the audio data to the display device 12 so that the content is displayed as an image and output as a sound so that the user can view the content.
  • the receiving device 11 supplies the tactile data to the tactile presentation device 13 worn by the user 21 to realize the tactile presentation corresponding to the tactile data.
  • the best-type tactile presentation device 13 includes a plurality of vibrating portions 13a at positions that are in close contact with various parts of the body of the user 21, and the tactile data for each of the vibrating portions 13a supplied from the receiving device 11 Based on this, each of them is independently vibrated and tactilely presented (gives a stimulus) to the corresponding part of the body of the user 21.
  • Moving image data, audio data, and tactile data included in the same content are all compatible. Therefore, the user 21 wearing the tactile sense presentation device 13 enjoys the tactile presentation of the plurality of vibration units 13a based on the tactile data corresponding to the flow of the content while enjoying the moving image and the sound of the content displayed on the display device 12. This makes it possible to enjoy viewing the content with a higher sense of reality. For example, the user can enjoy tactile presentation synchronized with the elapsed playback time of the displayed moving image or audio content.
  • FIG. 1 ten vibrating sections 13a are depicted in the tactile sense presentation device 13, but in reality, more vibrating sections 13a may be provided.
  • the sense of presence can be further enhanced.
  • the number of channels in the tactile data supplied to the tactile presentation device 13 increases with the number of vibrating sections 13a. Therefore, the transmission time for transmitting the multi-channel tactile data corresponding to the plurality of vibrating units 13a from the transmission device 10 to the reception device 11 increases.
  • the timing at which the vibrating unit 13a of the tactile presentation device 13 actually vibrates and the tactile presentation is performed may be delayed with respect to the image and the sound as the transmission time of the tactile data increases.
  • the time required for transmitting and receiving the tactile data is reduced, It is necessary to suppress the delay so that the touch panel 13a can provide the tactile sense at an appropriate timing in synchronization with the moving image or the audio content.
  • the haptic signal corresponding to the haptic data is divided into base haptic signal groups by frequency analysis, pattern matching, or estimation using an estimator obtained based on machine learning, and the division result is used. Then, the haptic data is converted into encoded data and transmitted / received.
  • the haptic data can be expressed by a simple parameter that defines the divided base haptic signal, so that the data amount can be compressed, and the delay of haptic presentation can be reduced even when transmitting and receiving multi-channel haptic data. It can be suppressed, and as a result, it becomes possible to play back in synchronization with the moving image or audio content.
  • the haptic signal is a waveform signal representing a vibration generated when the vibration unit 13a of the haptic device 13 vibrates
  • the haptic data is a waveform signal represented by the haptic signal. Is data for causing the vibration unit 13a to generate a vibration corresponding to.
  • the haptic data can be considered as a command or a parameter supplied to the vibration unit 13a of the haptic device 13 to realize the vibration of the waveform signal corresponding to the haptic signal. Therefore, the vibration unit 13a vibrates based on the tactile data, and the waveform signal input to the vibration unit 13a and the waveform signal generated by the vibration are the tactile signals.
  • the display device 12 displays an image and outputs sound based on the image data and the sound data.
  • the base tactile signal group is a group of a plurality of base tactile signals that can generate one tactile signal by being synthesized. For example, when two arbitrary base tactile signals are extracted from a plurality of base tactile signals belonging to the group of base tactile signals, the two extracted base tactile signals have an orthogonal relationship to each other.
  • the basal haptic signals belonging to the basal haptic signal group are all mutually independent and not similar, that is, haptic signals that do not overlap with each other.
  • the base tactile signals belonging to the base tactile signal group may include, for example, several hundred types prepared in advance and having the same length. Desirably, a group of haptic signals composed of specific waveform signals of various lengths, which are mutually independent haptic signals.
  • the haptic signal TS corresponding to the predetermined haptic data can be expressed as a sum of a plurality of basal haptic signals. For example, as shown in FIG. .. Can be divided as division information DI including BTS2, base tactile signal BTS3,.
  • the base haptic signal BTS1, the base haptic signal BTS2, the base haptic signal BTS3,... Each represent a case where one type of base haptic signal is present.
  • the same basal tactile signal may exist in a plurality.
  • the base haptic signal is a haptic signal composed of a specific waveform signal at a predetermined time, but in the divided information DI obtained by dividing the haptic signal TS, the gain or the increase / decrease of the amplitude for each of the base haptic signals is determined. May be divided in a state where a time-direction offset or the like is applied.
  • each of the base haptic signal BTS1, the base haptic signal BTS2, the base haptic signal BTS3,... Included in the division information D1 is multiplied by an index for identifying the respective base haptic signal.
  • the haptic signal is encoded by using a parameter including a gain and an offset in the time direction.
  • each of the base haptic signal BTS1, the base haptic signal BTS2, the base haptic signal BTS3,... Included in the division information D1 is referred to as a base haptic signal index, gain, offset (time code), and (time ) Expressed by parameters such as length and synthesized to generate synthesized information MI.
  • this combined information MI is used as encoded data of the haptic signal TS.
  • the basal haptic signal index is an identifier of the target basal haptic signal.
  • the gain is a gain added during the entire period of the target base tactile signal.
  • the offset (time code) is an offset time from a predetermined timing at which tactile presentation by the vibration unit 13a based on the target base tactile signal is started, and the length is the length of the target base tactile signal ( Time).
  • the haptic signal TS is divided based on the base haptic signal group, and is encoded using the parameters of each of the divided base haptic signals.
  • the corresponding haptic signal TS is compressed into coded data consisting of synthetic information MI based on the base haptic signal group.
  • the decoding of the encoded data into the haptic data is realized by performing a process reverse to the above-described encoding method.
  • the encoded data includes parameters such as a base haptic signal index, a gain, an offset, and a length of the base haptic signal BTS1, the base haptic signal BTS2, the base haptic signal BTS3,. Is the synthesized information MI. Therefore, the encoded data, which is the synthetic information MI, is divided, and the parameters defining the prestored base haptic signal BTS1, base haptic signal BTS2, base haptic signal BTS3,. By performing processing based on the extracted parameters on the base haptic signal BTS1, the base haptic signal BTS2, the base haptic signal BTS3,..., The division information DI is restored.
  • the encoded data which is the synthetic information MI
  • the original haptic signal TS ′ (the haptic signal TS) is added. Is restored, and haptic data is generated based on the restored haptic signal TS ′.
  • the haptic signal TS is divided into pieces of information DI based on the group of basic haptic signals, and is encoded as composite information MI using parameters defined for each of the basic haptic signals constituting the divided information DI. Since the divided information DI is restored from the combined information MI and the haptic signal TS ′ is restored, it is possible to compress and transmit the haptic data with high efficiency.
  • the type of the base tactile signal belonging to the base tactile signal group is increased or decreased, and the length of the base tactile signal is adjusted. You may make it.
  • the types of the base tactile signals included in the base tactile signal group may be increased, or the base tactile signal may be increased. May be shortened. By doing so, it is possible to divide into more types of basal haptic signals, so high-speed but high-quality multi-channel haptic data can be transmitted and received at high speed, and haptic presentation delay Can be suppressed.
  • the number of base tactile signals included in the base tactile signal group may be reduced.
  • the length of the basal tactile signal may be increased.
  • the types of base haptic signals to be divided are reduced, and the processing load can be reduced.
  • multi-channel haptic data can be transmitted and received at high speed. And the delay of the tactile presentation can be suppressed.
  • the haptic signal TS before encoding may be strictly different from the haptic signal TS after being encoded and restored. This is because when the input haptic signal TS is divided into the division information DI, it is divided by a finite base haptic signal group. Even if the haptic signal is restored using the division information DI, This is because a complete haptic signal TS may not be obtained, and in this case, a haptic signal TS ′ close to the haptic signal TS is reproduced.
  • the input haptic signal before encoding is referred to as an input haptic signal, and is restored and output after encoding.
  • This haptic signal is also referred to as an output haptic signal.
  • the haptic data corresponding to the input haptic signal is also referred to as input haptic data
  • the haptic data corresponding to the output haptic signal is also referred to as output haptic data.
  • the content reproduction system 41 shown in FIG. 4 includes a transmission device 51, a reception device 52, a tactile presentation device 53, and a display device 54.
  • the transmission device 51 has a configuration corresponding to the transmission device 10 in FIG. 1, and is provided to the reception device 52 via a network typified by a LAN (Local Area Network) configured by wireless communication, wired communication, or the like. Then, in addition to the image data and the audio data, the content data including the tactile data is transmitted.
  • a network typified by a LAN (Local Area Network) configured by wireless communication, wired communication, or the like.
  • the receiving device 52 has a configuration corresponding to the receiving device 11 in FIG. 1, and includes a local area network (LAN) configured by short-range communication such as Bluetooth (registered trademark), wireless communication such as WiFi, or wired communication. ),
  • LAN local area network
  • WiFi registered trademark
  • the haptic data included in the content data is transmitted to the haptic device 53 via a network represented by), and the haptic presentation units 53a-1 to 53a-n including a vibrating unit or the like are transmitted according to the haptic data. Tactile presentation by vibrating.
  • the reception device 52 outputs image data and audio data included in the content data to the display device 54 via the wireless communication such as WiFi or the wired communication, and displays the image data and the audio data on the display device 54, and outputs the audio data as the audio. Output.
  • the wireless communication such as WiFi or the wired communication
  • the tactile presentation device 53 has, for example, a configuration corresponding to the tactile presentation device 13 in FIG. 1 and includes a plurality of tactile presentation units 53a-1 to 53a-n corresponding to the vibration unit 13a.
  • the tactile presentation device 53 is configured to be worn by the user so that the tactile presentation units 53a-1 to 53a-n come into contact with predetermined parts of the user's body.
  • the tactile presentation units 53a are simply referred to as the tactile presentation units 53a, and the other configurations are similarly referred to.
  • the tactile presentation device 53 vibrates the plurality of tactile presentation units 53a based on the tactile data corresponding to the playback state of the content supplied from the reception device 52, and provides tactile presentation to a predetermined part of the user's body. Execute and give a predetermined stimulus. As a result, when the user views the content being reproduced on the display device 54, the haptic presentation units 53a-1 to 53a-n provide the haptic presentation to a predetermined part of the body according to the scene to be reproduced. This makes it possible to enjoy viewing the content with a sense of reality.
  • the description will be given by taking as an example a vibrating unit that generates vibration in a time series and gives a stimulus to a predetermined part of the user, but the tactile presentation unit 53a operates based on tactile data.
  • Any other device may be used.
  • the device may apply electrical muscular stimulation or pressure in a time series.
  • the display device 54 corresponds to the display device 12 in FIG. 1, is a display formed of an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence :), and includes a speaker.
  • the display device 54 displays an image based on the image data supplied from the receiving device 52 and outputs sound based on the sound data.
  • the tactile presentation device 53 may be, for example, a vest-type tactile presentation device 53A as shown in FIG.
  • the vest type tactile presentation device 53A of FIG. 5 is provided with tactile presentation units 53a-11 to 53a-16 that provide tactile presentation to the front part of the user's body by vibration.
  • These tactile presentation units 53a-11 to 53a-16 are composed of, for example, piezo element actuators, and vibrate based on a tactile signal supplied from the receiving device 52, thereby providing tactile presentation to the user by vibration stimulation. .
  • the tactile presentation device 53 may be, for example, a wristband type tactile presentation device 53B as shown in FIG.
  • the tactile presentation device 53B of FIG. 6 is attached to a portion near the user's wrist.
  • the tactile presentation device 53B includes a tactile presentation unit 53a-21 to 53a-24, and is a wristband type device having a function of presenting a tactile sense by vibrating.
  • the tactile presentation device 53B is provided with tactile presentation units 53a-21 to 53a-24 that perform tactile presentation by vibration to a portion near the user's wrist.
  • These tactile presentation units 53-21 to 53-24 are composed of, for example, piezo element actuators, and vibrate based on the supplied tactile signals, thereby providing tactile presentation to the user by vibration stimulation.
  • the tactile presentation device 53 may be, for example, a portable device type tactile presentation device 53C such as a game machine as shown in FIG. In this case, the tactile presentation device 53 and the display device 54 may be integrated.
  • the tactile presentation device 53C is a portable device that is operated while being held by the user with his or her hand.
  • the user holds the both ends of the tactile presentation device 53C with his / her hands, sees an image of the content displayed on the display unit D that functions in the same manner as the display device 54 such as a liquid crystal display panel, or outputs the image from a speaker or headphones (not shown).
  • the game or the like is performed by operating the buttons B1 to B4 provided on the tactile sense presentation device 53C while listening to the sound to be played.
  • tactile presentation units 53a-31 and 53a- for providing a tactile presentation to the user in accordance with the image of the content displayed on the display unit D and the output sound. 32 are provided.
  • These tactile presentation units 53a-31 and 53a-32 are composed of, for example, piezo element actuators, and vibrate based on the tactile data supplied from the receiving device 52, thereby providing the user with tactile presentation by vibration stimulation. .
  • the tactile presentation device 53 for providing the tactile presentation of the category different from the vibration stimulation may be provided as the tactile presentation device 53.
  • the transmission device 51 includes a control unit 71, a communication unit 72, a storage unit 73, an input unit 74, an output unit 75, a drive 76, and a removable storage medium 77, and is connected to each other via a bus 78. , Data and programs can be transmitted and received.
  • the control unit 71 includes a processor and a memory, and controls the entire operation of the transmission device 51.
  • the control unit 71 includes a content processing unit 91 and a haptic data processing unit 92.
  • the content processing unit 91 reads out content data including image data, audio data, and tactile data stored in the storage unit 73, controls the communication unit 72, and transmits the content data to the reception device 52. At this time, the content processing unit 91 supplies the haptic data to the haptic data processing unit 92, converts the haptic data into encoded data, and then combines the coded data with the image data and the audio data in the receiving device. 52.
  • the haptic data processing unit 92 includes an encoding unit 101, converts haptic data of the content data supplied from the content processing unit 91 into encoded data as input haptic data, and outputs the encoded data to the content processing unit 91. I do.
  • the encoding method of the haptic data by the encoding unit 101 will be described later in detail with reference to FIGS.
  • the communication unit 72 is controlled by the control unit 71, and various types of communication are performed between the receiving device 52 and a wired (or wireless (not shown)) via a communication network represented by a LAN (Local Area Network) or the like. Send and receive data and programs.
  • a wired or wireless (not shown)
  • a communication network represented by a LAN (Local Area Network) or the like.
  • the storage unit 73 is controlled by the control unit 71, and includes an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a semiconductor memory, and writes or reads various data and programs including content data.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • semiconductor memory volatile and erasable programmable read-only memory
  • the input unit 74 includes an input device such as a keyboard and a mouse for inputting an operation command by the user, and supplies various input signals to the control unit 71.
  • the output unit 75 is controlled by the control unit 71, and outputs the supplied processing operation screen and the image of the processing result to a display device (not shown) for display.
  • the drive 76 includes a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), Alternatively, data is read from and written to a removable storage medium 77 such as a semiconductor memory.
  • a magnetic disk including a flexible disk
  • an optical disk including a CD-ROM (Compact Disc-Only Memory), a DVD (Digital Versatile Disc)
  • a magneto-optical disk including an MD (Mini Disc)
  • MD Mini Disc
  • the receiving device 52 includes a control unit 131, a communication unit 132, a storage unit 133, an input unit 134, an output unit 135, a drive 136, and a removable storage medium 137, and is connected to each other via a bus 138. , Data and programs can be transmitted and received.
  • the control unit 131 includes a processor and a memory, and controls the entire operation of the receiving device 52.
  • the control unit 131 includes a content processing unit 151 and a haptic data processing unit 152.
  • the content processing unit 151 acquires the content data including the encoded data obtained by encoding the image data, the audio data, and the input haptic data supplied from the transmission device 51 via the communication unit 132. Then, the content processing section 151 controls the communication section 132 to output the image data and the audio data to the display device 54 so as to be displayed as an image and output as an audio. Further, the content processing unit 151 supplies the encoded data to the haptic data processing unit 152, restores the coded data to output haptic data, and then supplies the output haptic data to the haptic presentation device 53, and outputs the haptic data based on the output haptic data. Tactile presentation is performed by the presentation unit 53a.
  • the haptic data processing unit 152 includes a decoding unit 161, decodes the encoded data supplied from the content processing unit 151, and restores the coded data as output haptic data corresponding to the input haptic data that is the original haptic data. , To the content processing unit 151. Note that a method of restoring encoded data to output haptic data by the decoding unit 161 will be described later in detail with reference to FIGS.
  • the communication unit 132 is controlled by the control unit 131, and various types of communication are performed between the transmission device 51 and the transmission device 51 via a communication network represented by a LAN (Local Area Network) by wire (or wireless (not shown)). Send and receive data and programs.
  • LAN Local Area Network
  • wire or wireless (not shown)
  • the storage unit 133 is controlled by the control unit 131, and includes an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a semiconductor memory, and writes or reads various data and programs including content data. Further, the storage unit 133 stores information of a base haptic signal group required when the decoding unit 161 decodes the encoded data.
  • the input unit 134 includes an input device such as a keyboard and a mouse for inputting an operation command by a user, and supplies various input signals to the control unit 131.
  • the output unit 135 is controlled by the control unit 131 and outputs the supplied processing operation screen and the processing result image to a display device (not shown) for display.
  • the drive 136 includes a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Only Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), Alternatively, data is read from and written to a removable storage medium 137 such as a semiconductor memory.
  • a magnetic disk including a flexible disk
  • an optical disk including a CD-ROM (Compact Disc-Only Only Memory), a DVD (Digital Versatile Disc)
  • a magneto-optical disk including an MD (Mini Disc)
  • MD Mini Disc
  • the input tactile signal based on the input tactile data for vibrating one tactile presentation unit 53a is, for example, an input tactile signal having a vibration waveform as shown in the right part of FIG.
  • the encoding unit 101 converts the input haptic signal shown in the right part of FIG. 10 into a plurality of bases belonging to the base haptic signal group by frequency analysis or pattern matching as shown in the left part of FIG. It divides into tactile signals and generates division information.
  • the waveform at times t1 to t51 on the right part of FIG. 10 is divided into base haptic signals BTS1-1, BTS2-1, and BTS3-1 on the left part of FIG.
  • the waveform from time t22 to time t52 is divided into the base haptic signals BTS3-2, BTS3-3, BTS2-2, BTS1-2, and BTS1-3 in the left part of FIG.
  • the timing at which each offset (time code) from time t1 to time t3 is set as the start timing of the base haptic signal BTS1-1 to BTS1-3.
  • the timings at which the offsets (time codes) at the times t11 and t12 are set as the start timings of the base haptic signals BTS2-1 and BTS2-2.
  • the base haptic signals BTS3-1 to BTS3-3 are set to start timings at the respective offset timings from time t21 to t23.
  • the coding unit 101 generates coded data based on the division result obtained in the left part of FIG.
  • the encoding unit 101 determines, for example, a base haptic signal index for identifying a base haptic signal, an offset (time code) of each base haptic signal, and A parameter related to a base haptic signal consisting of length information is encoded.
  • the base haptic signal index has three types of base haptic signals BTS1 to BTS3. Therefore, the encoding unit 101 uses one of 1, 2, and 3 corresponding to each of the base haptic signals as a parameter.
  • the offset is any of the times t1 to t3, t11, t12, t21, t22, and t23 in the case of the left part of FIG. 10, so that the encoding unit 101 sets the corresponding offset.
  • the indicated time code is used as a parameter.
  • the encoding unit 101 uses the information as parameters.
  • base haptic signal index (2, t11, T2), (2, t12, It is encoded as in T2).
  • the encoding unit 101 generates encoded data of the input haptic signal corresponding to the input haptic data by adding and synthesizing the encoding results obtained for each base haptic signal. That is, for example, (1, t1, T1), (1, t2, T1), (1, t3, T1), (2, t11) are obtained by the division information of the input haptic signal as shown in the left part of FIG. , T2), (2, t12, T2), (3, t21, T3), and (3, t22, T3), the encoding results for a plurality of base haptic signals are synthesized, and the code of the input haptic signal is Generated data.
  • the input haptic signal corresponding to the input haptic data is converted into encoded data.
  • the decoding unit 161 converts the encoded data into the output haptic data by a process reverse to the process of converting the input haptic data into the encoded data described above.
  • the decoding unit 161 generates the encoded data (1, t1, T1), (1, t2, T1), (1, t3, T1), (2, t11, T2), ( When (2, t12, T2), (3, t21, T3), (3, t22, T3) are supplied, a plurality of synthesized encoded data are decomposed to restore the respective base haptic signals.
  • the decoding unit 161 generates (1, t2, T1), (1, t3, T1), (2, t11, T2), (2, t12, T2), (3, t21, T3), (3 , T22, T3) and (3, t23, T3) based on the coded data of the base haptic signals BTS1-2, BTS1-3, BTS2-1, BTS2-2, BTS3-1, BTS3-1, BTS3- 3 is restored as an output haptic signal having a signal waveform as shown in the left part of FIG.
  • the decoding unit 161 adds and synthesizes the signal waveforms of the restoration result obtained as shown in the left part of FIG. 10 to synthesize the final output haptic signal as shown in the right part of FIG. Reconstruct the signal waveform and generate corresponding output haptic data. More specifically, the base haptic signals BTS1-1, BTS2-1, and BTS3-1 shown in the left part of FIG. 10 are added to form a waveform as shown from time t1 to time t51 in the right part of FIG. The output haptic signal is restored. In addition, the base haptic signals BTS3-2, BTS3-3, BTS2-2, BTS1-2, and BTS1-3 shown in the left part of FIG. 10 are added, and are shown by times t22 to t52 in the right part of FIG. The output haptic signal having such a waveform is restored.
  • the base haptic signal index, the time code indicating the offset of the base haptic signal, and the length have been used as the parameters of the encoded data.
  • a parameter for adding an arrangement to the base haptic signal is further added. It may be.
  • a change in gain within a time period defined by the length of the base tactile signal may be represented by various envelopes, and a parameter may be set using the type of the envelope as an index.
  • a constant gain change within the entire time defined by the length of the basal tactile signal may be set as a parameter.
  • envelopes expressing the change in the gain within the time defined by the length of the basal tactile signal are, for example, envelopes EV1 to EV4 as shown in the left part of FIG.
  • the envelope EV1 has a gain of zero at times ts and te within a time period from time ts to te defined by the length of the basal tactile signal, but a constant gain with respect to the basal tactile signal during that time. It expresses that it is maintained.
  • the gain increases at a constant rate until the intermediate time th, and the gain increases at a constant rate after the intermediate time th within a time period from the time ts to the time te defined by the length of the base tactile signal. It expresses descending.
  • the gain increases due to a downwardly convex waveform change up to the intermediate time th within a time period from the time ts to te defined by the length of the base tactile signal, and the downward convexity after the intermediate time th. It indicates that the gain decreases with the waveform change.
  • the gain increases with an upwardly convex waveform change until the intermediate time th within a time period from the time ts to te defined by the length of the base tactile signal, and the upward convexity occurs after the intermediate time th. It indicates that the gain decreases with the waveform change.
  • the haptic signal BTS1 changes its entire waveform into a vertically protruding triangular shape due to the envelope EV2, and becomes a base haptic signal BTS1 ′ indicated by the waveform at the center in FIG.
  • the envelope EV4 is applied to the base haptic signal BTS2, the gain is -6 dB in all time zones, and the time code as an offset is 0.5.
  • the base haptic signal BTS2 changes the whole waveform into a vertically convex curved shape due to the envelope EV4, the wave height of the waveform becomes small as a whole, and is further offset by 0.5 in the time direction.
  • the base haptic signal BTS2 ′ shown by the waveform in the center of FIG. 12 is obtained.
  • the coded data of the haptic presentation unit 1ch is described as the coded data of the haptic presentation unit 53a-1 at the top, and (basal haptic signal index 1, time code, gain, length, envelope (Line index), ... (basal haptic signal index 2, time code, gain, length, envelope index), ... (basal haptic signal index 3, time code, gain, length, envelope index), ... (basal tactile signal index m, time code, gain, length, envelope index).
  • encoded data of the tactile presentation unit 2ch is described as encoded data of the tactile presentation unit 53a-2 (basal tactile signal index 1, time code, gain, length, envelope). (Line index), ... (basal haptic signal index 2, time code, gain, length, envelope index), ... (basal haptic signal index 3, time code, gain, length, envelope index), ... (basal tactile signal index m, time code, gain, length, envelope index).
  • encoded data of the haptic presentation unit 1ch is described as encoded data of the haptic presentation units 53a-n (basal haptic signal index 1, time code, gain, length, envelope, (Line index), ... (basal haptic signal index 2, time code, gain, length, envelope index), ... (basal haptic signal index 3, time code, gain, length, envelope index), ... (basal tactile signal index m, time code, gain, length, envelope index).
  • the coded data of the base haptic signal indexes 1 to m is set for each channel for each haptic presentation unit 53a.
  • the time code of the base tactile signal index 2 in the tactile presentation unit 2ch is the same as the time code of the base tactile signal index 1, as shown in FIG. Index 2, 1 ch, gain, 1 ch (tx ⁇ ty), envelope index), and the time code information is the same as the tactile presentation unit 1 ch, and the base tactile signal length is the same as 1 ch.
  • the same range may be expressed as a range from time tx to time ty.
  • a reference tactile presentation reference code is set from the encoded data of the tactile presentation units 53a-1 to 53a-n, and the difference between the tactile presentation reference code and the encoded data of each channel is set to the encoded data. You may make it do.
  • the haptic presentation reference code is, for example, as shown at the top of FIG. 15, (basal haptic signal index 1, time code, gain, length, envelope index),. Code, gain, length, envelope index), ... (basal haptic signal index 3, time code, gain, length, envelope index), ... (basal haptic signal index m, time code, gain, Length, envelope index).
  • this encoded data for example, a value such as an average value, a minimum value, or a maximum value of each parameter of the encoded data of the haptic presentation units 53a-1 to 53a-n may be set.
  • the encoded data of the haptic presentation unit 53a-1 indicated by the haptic presentation unit 1ch is (basal haptic signal index 1, +5, -2, 0, -2), ... (basal haptic signal index 2, -4, 0, +110, -2), ... (basal haptic signal index m, +1, -10, 0, +1) Consists of data.
  • the time code of the encoded data of the base haptic signal index 1 is +5 ms with respect to the haptic presentation reference code, and the gain is haptic. It is shown that it is -2 dB for the presentation reference code, the length is the same for the haptic presentation reference code, and the envelope index is -2 for the haptic presentation reference code.
  • the time code is -4 ms with respect to the haptic presentation reference code
  • the gain is the same as the haptic presentation reference code
  • the length is relative to the haptic presentation reference code. This indicates that the envelope index is -2 with respect to the haptic presentation reference code.
  • the time code is +1 ms with respect to the haptic presentation reference code
  • the gain is -10 dB with respect to the haptic presentation reference code
  • the length is the haptic presentation reference code.
  • the envelope index is +1 with respect to the haptic presentation reference code.
  • the coded data of the haptic presentation unit 53a-1 indicated by the haptic presentation unit 2ch is 0, and thus is the same as the haptic presentation reference code. Is represented.
  • the encoded data of the haptic presentation unit 53a-n indicated by the haptic presentation unit nch is (basal haptic signal index 1, +6, -10, 110, +2). , ... (basal haptic signal index 2, +4, 0, +20, -5), ... (basal haptic signal index m, 0, -60, +2, -1) Is done.
  • the time code of the encoded data of the base haptic signal index 1 is +6 ms with respect to the haptic presentation reference code, and the gain is haptic. It is shown that it is -10 dB for the presentation reference code, the length is +110 ms for the haptic presentation reference code, and the envelope index is +2 for the haptic presentation reference code.
  • the time code is +4 ms with respect to the haptic presentation reference code
  • the gain is the same as the haptic presentation reference code
  • the length is with respect to the haptic presentation reference code. This indicates that the envelope index is -5 with respect to the haptic presentation reference code.
  • the encoded data of the base haptic signal index m has the same time code as the haptic presentation reference code, a gain of -60 dB relative to the haptic presentation reference code, and a length relative to the haptic presentation reference code. This indicates that the envelope index is -1 with respect to the haptic presentation reference code.
  • the encoded data since the encoded data is only the difference information, the encoded data can be compressed more efficiently, and the communication speed of the encoded data can be improved. Further, in the case where all of the encoded data of the base haptic signal index 2 are the same as the encoded data of the base haptic signal index 2 in FIG. May be expressed by one code.
  • step S11 the content processing unit 91 reads out content data including image data, audio data, and tactile data (input tactile data) stored in the storage unit 73.
  • step S12 the content processing section 91 extracts image data, audio data, and haptic data (input haptic data) from the read content data.
  • step S13 the haptic data processing unit 92 executes a haptic data encoding process to convert haptic data (input haptic data) into encoded data.
  • step S51 the haptic data processing unit 92 in the control unit 71 of the transmitting device 51 reads out the haptic data (input haptic data) extracted from the content data in the content processing unit 91.
  • step S52 the encoding unit 101 generates a haptic signal (input haptic signal) based on the haptic data (input haptic data).
  • the tactile signal here has, for example, a signal waveform as shown in the right part of FIG.
  • step S53 the encoding unit 101 divides the haptic signal (input haptic signal) including the signal waveform into a base haptic signal group by performing frequency analysis and pattern matching, and generates division information. That is, for example, in the case of a haptic signal having a signal waveform as shown in the right part of FIG. 10, the encoding unit 101 generates divided information including a base haptic signal group as shown in the left part of FIG. 10. I do.
  • step S54 the encoding unit 101 sets parameters for each of the base haptic signal groups based on the division information. More specifically, the encoding unit 101 determines the base haptic signal index, the time code, the gain, the length, and the envelope for each of the base haptic signal groups based on the division information shown in the left part of FIG. Set the parameters corresponding to each of the line indices.
  • step S55 the encoding unit 101 encodes parameters set for each of the base haptic signal groups, which are division information, and outputs, as encoded data, synthetic information obtained by synthesizing the parameters.
  • step S14 the content processing unit 91 controls the communication unit 72 to transmit content data including image data and audio data to the reception device 52 in addition to the encoded data.
  • step S31 the content processing unit 151 in the control unit 131 of the receiving device 52 controls the communication unit 132 to transmit content data including image data and audio data in addition to the encoded data transmitted from the transmitting device 51. To receive.
  • step S32 the haptic data processing unit 152 performs a haptic data decoding process, and decodes encoded data of the content data received by the content processing unit 151 into haptic data (output haptic data).
  • step S71 the haptic data processing unit 152 reads out encoded data from the content data received by the content processing unit 151.
  • step S72 the decoding unit 161 reads parameters set for each base haptic coding group based on the coded data.
  • step S73 the decoding unit 161 restores the division information set for each base haptic coding group based on the read parameters. That is, the decoding unit 161 divides the base haptic signal group as shown in the left part of FIG. 10 based on the respective parameters of the base haptic signal index, the time code, the gain, the length, and the envelope index. To restore. That is, the decoding unit 161 reads the base haptic signal corresponding to the base haptic signal index from the storage unit 133, and performs processing based on each of the parameters of the time code, the gain, the length, and the envelope index to obtain the base haptic signal. The division information is restored for each haptic signal.
  • step S74 the decoding unit 161 combines the division information and restores the haptic signal (as an output haptic signal). That is, the decoding unit 161 restores (as an output haptic signal) a haptic signal shown in the right part of FIG. 10 based on the division information including the base haptic signal group shown in the left part of FIG. .
  • step S75 the decoding unit 161 generates haptic data (output haptic data) based on the haptic signal (output haptic signal).
  • step S33 the content processing section 151 outputs the image data and the audio data to the display device 54 to display the image of the content and reproduce the audio by outputting the audio.
  • step S34 the content processing unit 151 supplies the decoded tactile data (output tactile data) to the tactile presentation device 53, and reproduces (tactile presentation) by vibrating each of the tactile presentation units 53a.
  • the content processing unit 151 supplies the transmitted image data and audio data to the display device 54 for reproduction, and supplies the haptic data (output haptic data) to the haptic presentation device 53 to supply the haptic data.
  • the presenting process is executed by managing the timing by independent timing control information.
  • steps S15 and S35 it is determined whether or not the end is instructed. If the end is not instructed, the process returns to steps S11 and S31, and the subsequent processes are repeated.
  • the haptic data (input haptic data) is converted into encoded data, compressed and transmitted, and after being received, the haptic data (output haptic data) is restored. It is possible to transmit and receive efficiently, and it is possible to suppress a delay in the tactile presentation by the tactile presentation unit 53a in the reproduction of the content.
  • the tactile presentation unit 53a transmits and receives a plurality of multi-channel tactile data, the tactile presentation is performed efficiently, so that it is possible to suppress an increase in time required for transmission and reception. Delay can be suppressed.
  • step S32 the encoded data for multiple channels may be decoded and converted into tactile data, and the tactile presentation may be performed by the plurality of tactile presentation units 53a in step S34.
  • the coded data obtained by coding the haptic data is transmitted from the transmitting device 51 to the receiving device 52, and is received.
  • the haptic data is restored (as output haptic data) from the image data and the image data and audio data and the haptic data (output haptic data) are reproduced based on independent timing control information.
  • the image data and the audio data are stored in the storage unit 133 or the removable storage medium 137 in advance by the receiving device 52, and the haptic data (input haptic data) is transmitted from the transmitting device 51 to the receiving device 52.
  • the haptic data input haptic data
  • only encoded data may be used.
  • the information transmitted and received between the transmitting device 51 and the receiving device 52 is only the coded data obtained by converting the haptic data (input haptic data), so that the processing time required for transmitting and receiving is reduced. This makes it possible to suppress occurrence of a delay in tactile presentation due to an increase in transmission / reception time of tactile data.
  • steps S101 to S103 image data, audio data, and encoded data are prepared.
  • step S104 the content processing section 91 assigns an index corresponding to the reproduction timing of the image data and the audio data to the generated encoded data.
  • step S105 the content processing section 91 controls the communication section 72 to transmit only the encoded data to which the index has been added to the receiving apparatus 52.
  • step S ⁇ b> 131 the content processing unit 151 in the control unit 131 of the receiving device 52 controls the communication unit 132 to receive the indexed encoded data transmitted from the transmitting device 51.
  • step S132 the haptic data processing unit 152 performs a haptic data decoding process, and decodes encoded data of the content data received by the content processing unit 151 into haptic data (output haptic data).
  • the index added to the encoded data before decoding is added to the decoded haptic data (output haptic data).
  • the haptic data decoding process is the same as the process described with reference to the flowchart in FIG. 18, and thus the description thereof will be omitted.
  • step S133 the content processing unit 151 reads out the image data and the audio data stored in the storage unit 133 and the removable storage medium 137, and outputs the read data to the display device 54 to display the image of the content and output the audio. .
  • step S134 the content processing section 151 supplies haptic data (output haptic data) corresponding to the index indicating the playback timing of the image data and audio data being played back on the display device 54 to the haptic presentation device 53, Based on the data (output tactile data), each of the tactile presentation sections 53a is tactilely presented.
  • haptic data output haptic data
  • the tactile presentation in the tactile presentation unit 53a based on the tactile data (output tactile data) to which an index corresponding to the reproduction timing of the image data and the audio data is given, the timing at which the image and the audio are reproduced is determined. This makes it possible to synchronize the timing at which tactile presentation is performed.
  • the encoded data is composed of a format (multimedia container format) in which image data, audio data, and encoded data (in which the input haptic data is encoded) are grouped together in an identifiable state.
  • the haptic data (output haptic data) stored in the transfer data and decoded from the encoded data, and the time code for synchronizing the reproduction of the image data and the audio data are recorded as meta information in the transfer data. Is also good.
  • the transfer data having a format in which the image data, the audio data, and the encoded data corresponding to the encoded data are combined together in a distinguishable state is transmitted from the transmission device 51 to the reception device 52,
  • the haptic data output haptic data
  • the time code recorded as the meta information is read, and the image data and the audio data are reproduced.
  • the haptic presentation based on the haptic data is performed in synchronization.
  • steps S151 to S153 image data, audio data, and encoded data are prepared.
  • step S154 the content processing section 91 stores the generated encoded data, image data, and audio data in transfer data in a format that can be identified and combined into one.
  • step S155 the content processing section 91 uses the time code for synchronizing and reproducing the haptic data (output haptic data) decoded from the encoded data, the image data, and the audio data as meta information of the transfer data. Embed.
  • step S156 the content processing unit 91 controls the communication unit 72 to transmit the transfer data to the receiving device 52.
  • step S171 the content processing unit 151 in the control unit 131 of the receiving device 52 controls the communication unit 132 to receive the transfer data transmitted from the transmitting device 51.
  • the transfer data is stored such that the encoded data, the image data, and the audio data can be identified.
  • step S172 the haptic data processing unit 152 performs a haptic data decoding process, extracts encoded data from the transfer data received by the content processing unit 151, and converts the encoded data into haptic data (output haptic data). To decrypt.
  • the haptic data decoding process is the same as the process described with reference to the flowchart in FIG. 18, and thus the description thereof will be omitted.
  • step S173 the content processing unit 151 reads out the image data and the audio data, and outputs the image data and the audio data to the display device 54 to display the image of the content and output the audio.
  • step S174 the content processing unit 151 reads the time code embedded as meta information of the transfer data, and, based on the time code, synchronizes the tactile data with the image data and audio data reproduced on the display device 54. (Output tactile data) is supplied to the tactile presentation device 53, and each of the tactile presentation units 53a is tactilely presented.
  • the content processing unit 151 synchronizes the haptic data (output haptic data) with the image data and the audio data being supplied to the display device 54 and reproduced based on the time code embedded as the meta information. ) Is supplied to the tactile presentation device 53 to provide tactile presentation. For this reason, it is possible to synchronize the reproduction timing of the image data and the audio data on the display device 54 with the timing of the haptic presentation in the haptic presentation unit 53a based on the haptic data (output haptic data). As a result, the timing at which the tactile presentation section 53a provides the tactile presentation is prevented from being delayed from the timing at which the image data and the audio data are output from the display device 54.
  • the haptic data is converted into encoded data, compressed and transmitted / received, so that the haptic data can be transmitted / received efficiently, and the communication time for transmitting / receiving the haptic data can be reduced. This makes it possible to prevent delay in tactile presentation by the tactile presentation unit 53a in content reproduction due to an increase in transmission / reception time of multi-channel tactile data.
  • the haptic data only the data that can be decoded by the receiving device 52 is converted into the coded data, and the data that cannot be decoded is transmitted with the raw haptic data as it is together with the image data and the audio data.
  • the information may be transmitted from the device 51 to the receiving device 52.
  • steps S191 and S192 image data, audio data, and tactile data (input tactile data) are read.
  • step S193 when the haptic data processing unit 152 encodes the haptic data (input haptic data), the haptic data processing unit 152 determines whether or not the receiving device 52 cannot decode the haptic data.
  • the haptic data processing unit 152 temporarily converts haptic data (input haptic data) into coded data by haptic data encoding processing, and then converts the haptic data to haptic data (output haptic data) by haptic data decoding processing.
  • the decoding may be performed, and the output haptic data and the input haptic data, which are the decoding results, may be compared with each other to make a determination based on how similar the haptic data is.
  • step S193 If it is determined in step S193 that decoding is not impossible and decoding is possible, the process proceeds to step S194, in which haptic data (input haptic data) is converted into encoded data by haptic data encoding processing, In step S195, the image data and the audio data are transmitted to the receiving device 52 together.
  • haptic data input haptic data
  • step S195 the image data and the audio data are transmitted to the receiving device 52 together.
  • step S193 determines whether decoding is impossible. If it is determined in step S193 that decoding is impossible, the process proceeds to step S196.
  • step S196 the content processing section 91 controls the communication section 72 to transmit raw haptic data (input haptic data), image data, and audio data to the receiving device 52.
  • step S201 the content processing unit 151 in the control unit 131 of the receiving device 52 controls the communication unit 132 to transmit raw haptic data (input haptic data) or encoded data transmitted from the transmitting device 51, and Receives image data and audio data.
  • step S202 the haptic data processing unit 152 determines whether the encoded data has been received together with the image data and the audio data. For example, if the encoded data has been received together with the image data and the audio data, the process proceeds to step S203.
  • step S203 the encoded data is decoded into haptic data (output haptic data) by haptic data decoding processing, and in step S204, an image and a voice are output from the display device 54 based on the image data and the voice data.
  • step S205 the tactile presentation section 53a provides the tactile presentation based on the tactile data (output tactile data).
  • step S203 If the raw haptic data (input haptic data) is received together with the image data and the audio data instead of the encoded data in step S202, the process in step S203 is skipped, and the process proceeds to step S204. Is output, and in step S205, the tactile presentation unit 53a provides the tactile presentation based on the raw tactile data (input tactile data).
  • the content processing unit 151 converts the encoded data into the haptic data (output haptic data) from the coded data to the haptic data (output haptic data) only for the haptic data that can be appropriately decoded, and provides the haptic data.
  • the haptic data input haptic data
  • the haptic presentation is performed using the raw haptic data (input haptic data) as it is, so that the haptic presentation can be appropriately reflected on the haptic data.
  • the haptic data is converted into encoded data, compressed and transmitted / received, so that the haptic data can be transmitted / received efficiently, so that the communication time for transmitting / receiving the haptic data can be reduced. It is possible to realize appropriate haptic presentation while suppressing delay of haptic presentation by the haptic presentation unit 53a due to an increase in transmission / reception time even when transmitting and receiving multi-channel haptic data in content reproduction. Becomes possible.
  • the number of base haptic signals to be used may be changed depending on a communication band available for communication between the transmitting device 51 and the receiving device 52.
  • the haptic data as a result of decoding the encoded data may be stored in the storage unit 133. Then, when transmitting the haptic data similar to the stored haptic data, only the haptic data specifying information for specifying which haptic data is similar to the haptic data may be transmitted from the transmitting device 51. In this case, the receiving device 52 may use the tactile data specified based on the tactile data specifying information among the tactile data stored in the storage unit 133.
  • haptic data either one of transmitting as coded data, transmitting as haptic data specifying information for specifying already stored haptic data, and transmitting the raw haptic data as it is, depending on the communication state. Accordingly, transmission and reception may be performed by switching in real time, or they may be combined.
  • the haptic data encoding process and the haptic data decoding process are possible according to the processing load of the transmitting device 51 and the receiving device 52 and the remaining amount of the battery, and the encoded data is transmitted. And the case where the raw tactile data is transmitted may be switched.
  • a time stamp on the content designating the timing for reproducing the haptic data may be added to each base haptic signal, and the haptic presentation may be made in accordance with the time stamp.
  • the haptic data may be multiplexed with the content data and transmitted / received, or the content data and the haptic data may be transmitted as separate data.
  • flag data indicating whether or not tactile data is added and the format of the tactile data may be added to the header of the content data.
  • the receiving device 52 can determine the presence or absence of haptic data and the format of the haptic data, and can execute the processing separately.
  • the reception device 52 causes the display device 54 to display the image and output the audio
  • the tactile presentation section 53a of the tactile presentation device 53 causes the tactile presentation to be performed based on the corresponding encoded data
  • the haptic presentation unit 53a of the haptic presentation device 53 displays the image on the display device 54 based on the image data and the audio data and outputs the audio
  • the haptic presentation unit 53a of the haptic presentation device 53 based on the encoded data corresponding to the haptic data.
  • the receiving device to be presented may be separately provided.
  • a device having a function of converting haptic data in content data into encoded data is provided separately, and the transmitting device 51 transmits haptic data to a device provided with haptic data separately.
  • the supplied and converted encoded data may be obtained.
  • a device having a function of decoding coded data into haptic data is provided separately from the receiving device 52, and the receiving device 552 supplies the coded data to a separately provided device,
  • the tactile sensation data decrypted may be used to make the tactile presentation unit 53a of the tactile presentation device 53 present a tactile presentation.
  • Second embodiment >> ⁇ Tactile data encoding using machine learning>
  • the haptic signal (input haptic signal) is divided into a group of base haptic signals by frequency analysis or pattern matching to obtain division information, and the base haptic signal is determined based on the division information.
  • the example has been described in which the haptic data (output haptic data) is restored by encoding and synthesizing them with parameters set for each time, generating the synthesized signal as encoded data, and decoding the encoded signal.
  • the process of dividing the haptic data (input haptic data) into base haptic signal groups and generating the division information may be a process using an estimator generated based on machine learning.
  • content data 201 including image data and audio data and a corresponding tactile signal (input tactile signal) 202 are used.
  • the tactile signal 202 is a signal input by the user in association with the content data 201.
  • a multidimensional feature vector composed of auditory features extracted from the image data and a voice data based on the analysis results of the audio data, dynamic analysis, texture analysis, and the like of the image data and the audio data of the content data 201 are used.
  • Feature data 203 including a multidimensional feature vector extracted from the extracted visual features is generated.
  • the haptic signal (input haptic signal) 202 is divided based on the base haptic signal group to generate division information, thereby generating division information 204 to be teacher data.
  • an estimator (the estimator 213 in FIG. 23) for estimating the division information from the characteristic data 203 of the content data 201 is generated by machine learning using the characteristic data 203 and the division information 204 serving as teacher data. .
  • the estimator (the estimator 213 in FIG. 23) estimates a divided signal for a haptic signal (input haptic signal) based on the feature data 203 by the above-described series of machine learning.
  • feature data 212 including a multidimensional feature vector from which an auditory feature of image data is extracted and a multidimensional feature vector extracted from a visual feature of audio data is generated.
  • division information is estimated by the estimator 213 generated by machine learning based on the feature data 212, and encoded data is generated based on each parameter of the base haptic signal group in the estimated division information. .
  • the learning device 231 includes a control unit 251, a communication unit 252, a storage unit 253, an input unit 254, an output unit 255, a drive 256, and a removable storage medium 257, and is connected to each other via a bus 258. , Data and programs can be transmitted and received.
  • the control unit 251 includes a processor and a memory, and controls the entire operation of the learning device 231.
  • the control unit 251 includes a machine learning unit 261 for learning the estimator 213 by machine learning.
  • the machine learning unit 261 includes a feature data extracting unit 271 and a teacher data generating unit 272, and as described with reference to FIG. 22, the content data 201 and a haptic signal based on the corresponding haptic data (input haptic data).
  • Signal) 202, and the estimator 213 is trained by, for example, a neural network or a Gaussian mixture model.
  • the feature data extraction unit 271 is composed of auditory features extracted from image data based on analysis results of image data and audio data of the content data 201 by voice analysis, dynamic analysis, texture analysis, and the like.
  • Feature data 203 composed of a multidimensional feature vector and a multidimensional feature vector extracted from visual features extracted from audio data is extracted.
  • the teacher data generation unit 272 divides a haptic signal (input haptic signal) 202 based on haptic data corresponding to the content data 201 input via the input unit 254, and generates division information 204 including a base haptic signal group. I do.
  • the machine learning unit 261 generates an estimator 213 that estimates the division information based on the feature data 203 by machine learning using the characteristic data 203 and the division information 204 as the teacher data.
  • the communication unit 252 is controlled by the control unit 251, and transmits and receives various data and programs by a wired (or wireless (not shown)) via a communication network represented by a LAN (Local Area Network) or the like.
  • a wired or wireless (not shown)
  • a communication network represented by a LAN (Local Area Network) or the like.
  • the storage unit 253 is controlled by the control unit 251 and includes an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a semiconductor memory, and writes or reads various data and programs including content data.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • semiconductor memory volatile and erasable programmable read-only memory
  • the input unit 254 includes an input device such as a keyboard and a mouse for inputting an operation command by a user, and supplies various input signals to the control unit 251.
  • the output unit 255 is controlled by the control unit 251 and outputs the supplied processing operation screen and the processing result image to a display device (not shown) for display.
  • the drive 256 includes a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), Alternatively, data is read from and written to a removable storage medium 257 such as a semiconductor memory.
  • a magnetic disk including a flexible disk
  • an optical disk including a CD-ROM (Compact Disc-Only Memory), a DVD (Digital Versatile Disc)
  • a magneto-optical disk including an MD (Mini Disc)
  • MD Mini Disc
  • the transmitting apparatus 51 of FIG. 25 differs from the transmitting apparatus 51 of FIG. 8 in that an encoding section 281 is provided instead of the encoding section 101.
  • the encoding unit 281 includes a feature data extraction unit 291 and an estimator 292, and generates encoded data of tactile data based on image data and audio data included in content data.
  • the feature data extraction unit 291 extracts feature data from image data and audio data.
  • the estimator 292 has a configuration corresponding to the estimator 213 in FIG. 23, and has been learned based on the above-described machine learning. Based on the feature data, the estimator 292 calculates the division information corresponding to the haptic data (input haptic data). presume.
  • the encoding unit 281 generates encoded data corresponding to the haptic data (input haptic data) based on the parameters of the estimated divided information for each base haptic signal.
  • the configuration of the receiving device 52 is the same as that in FIG. 9 and the reproducing process is the same as the above-described process, and therefore, the description thereof is omitted.
  • step S211 the feature data extraction unit 271 extracts the feature data 203 from the image data and the audio data of the content data 201 input via the input unit 254.
  • step S212 the teacher data generation unit 272 divides the haptic signal (input haptic signal) 202 based on the haptic data corresponding to the content data 201 input via the input unit 254, and divides the haptic signal into a base haptic signal group.
  • Information 204 is generated, and division information 204 as teacher data is generated.
  • step S213 the machine learning unit 261 causes the estimator 213 to learn by machine learning using the feature data 203 combined with the tactile data and the division information 204 as teacher data.
  • the estimator 213 that estimates the division information of the haptic signal (input haptic signal) to learn based on the feature data extracted from the image data and the audio data of the content data by machine learning.
  • step S231 the feature data extraction unit 291 of the encoding unit 281 extracts feature data from the image data and audio data of the content data.
  • step S232 the estimator 292 estimates the division information of the haptic signal (input haptic signal) corresponding to the feature data.
  • step S233 the encoding unit 281 sets parameters for each basal haptic signal based on the division information estimated by the estimator 292.
  • step S234 the encoding unit 281 generates encoded data corresponding to the haptic signal based on the parameters for each base haptic signal.
  • the estimator 292 generated by machine learning estimates the division information based on the feature data of the image data and the audio data, and estimates the encoded data corresponding to the haptic data (input haptic data). Therefore, it is possible to convert haptic data (input haptic data) into encoded data more quickly.
  • the haptic data decoding process is the same as the process described with reference to the flowchart in FIG. In the above description, an example in which the feature data is extracted from the image data and the audio data in the learning process and the haptic data encoding process has been described. However, in addition to the image data and the audio data, the haptic data (input haptic data ) May be extracted, and by further increasing the feature data, it is possible to learn an estimator with higher accuracy.
  • the tactile sense presentation unit 53a transmits and receives a plurality of multi-channel tactile data, it is possible to suppress an increase in transmission / reception time. It is possible to suppress a delay in presentation.
  • Example of execution by software can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer built into dedicated hardware or installing various programs. It is installed from a recording medium to a possible general-purpose computer, for example.
  • FIG. 28 shows a configuration example of a general-purpose computer.
  • This personal computer includes a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for inputting operation commands by a user, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, and programs and various data.
  • LAN Local Area Network
  • a magnetic disk including a flexible disk
  • an optical disk including a CD-ROM (Compact Disc-Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor
  • a drive 1010 that reads and writes data from and to a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or from a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, is installed in the storage unit 1008, and is loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads a program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable storage medium 1011 as a package medium or the like. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable storage medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or may be performed in parallel or at a necessary timing such as when a call is made. It may be a program that performs processing.
  • the CPU 1001 in FIG. 28 implements the functions of the control unit 71 in FIGS. 8 and 25, the control unit 131 in FIG. 9, and the control unit 251 in FIG.
  • a system refers to a set of a plurality of components (devices, modules (parts), and the like), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can adopt a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above-described flowchart can be executed by one device, or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step may be executed by one device or may be shared and executed by a plurality of devices.
  • an encoding unit that encodes the input haptic signal into encoded data including a parameter that defines a plurality of base haptic signals in a group of base haptic signals that form the input haptic signal;
  • An information processing apparatus comprising: a receiving device that makes a tactile presentation unit that makes a tactile presentation based on an output tactile signal based on the encoded data, and a transmitting unit that transmits the encoded data.
  • a receiving device that makes a tactile presentation unit that makes a tactile presentation based on an output tactile signal based on the encoded data, and a transmitting unit that transmits the encoded data.
  • the plurality of tactile presentation units are provided in the another information processing apparatus, and the input tactile signal is set for each channel corresponding to each of the plurality of tactile presentation units.
  • the parameters defining each of the basal haptic signals include an index for identifying the basal haptic signal, a time code defining an offset of a reproduction timing of the basal haptic signal, and a gain at all timings for reproducing the basal haptic signal. Any one of ⁇ 1> to ⁇ 3>, including a length for providing a haptic based on the base haptic signal, and an index for identifying an envelope indicating a change in gain when reproducing the base haptic signal.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal;
  • the information processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the transmission unit transmits content data of the content together with the encoded data.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal;
  • the information processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the transmission unit transmits the encoded data and content data of the content to the receiving device independently.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal;
  • the encoding unit to the encoded data, to give an index indicating the playback timing of the content,
  • the information processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the transmission unit transmits the encoded data to which the index has been added, to the reception device.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal,
  • the encoding unit combines the encoded data and the content into one transfer data, and uses a time code for synchronizing and reproducing the content and the output haptic signal as meta information of the transfer data.
  • the transmission unit transmits transfer data in which the time code is recorded as the meta information to the reception device.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal;
  • the encoding unit among the input haptic signals, encodes input haptic data that can be decoded by the receiving device into the encoded data,
  • the information processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the transmission unit transmits the input haptic data or the encoded data to the reception device.
  • the input haptic signal is a signal corresponding to a content reproduced in synchronization with the output haptic signal
  • the encoding unit is configured to divide the base haptic signal of the input haptic signal constituting the teacher data into the base haptic signal group, and to divide the base haptic signal from the content by estimating based on machine learning using the content. Estimating the division information, based on the division information, encodes the input haptic signal into the encoded data, The information processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the transmission unit transmits the encoded data to the reception device.
  • ⁇ 11> an encoding process of encoding the input haptic signal into encoded data including parameters defining a plurality of base haptic signals in a group of base haptic signals constituting the input haptic signal;
  • ⁇ 12> an encoding unit that encodes the input haptic signal into encoded data including a parameter that defines a plurality of base haptic signals in a group of base haptic signals that form the input haptic signal;
  • a program that causes a receiving device that makes a tactile presentation unit that performs tactile presentation based on an output tactile signal based on the encoded data to make a computer function as a transmission unit that transmits the encoded data.
  • a receiving unit that receives encoded data including a parameter that defines a plurality of base haptic signals in a base haptic signal group that forms an input haptic signal;
  • a decoding unit configured to synthesize the base haptic signal based on parameters defining the plurality of base haptic signals included in the received encoded data and decode the synthesized haptic signal into an output haptic signal.
  • the decoding unit decodes the output haptic signal by reading and combining the base haptic signal stored in a storage medium in advance based on the parameters of the encoded data.
  • a parameter based on each of the base haptic signals is an index for identifying the base haptic signal, a time code defining an offset of a reproduction timing of the base haptic signal, and a gain at all timings for reproducing the base haptic signal.
  • the information processing according to ⁇ 13> or ⁇ 14> including a length for providing a haptic presentation based on the base haptic signal, and an index for identifying an envelope indicating a change in gain when reproducing the base haptic signal.
  • apparatus ⁇ 16> The information processing device according to ⁇ 13> or ⁇ 14>, wherein the output haptic signal is a signal reproduced in synchronization with reproduction of content.
  • the receiving unit independently receives the encoded data and the content data of the content
  • the information processing device according to ⁇ 16>, wherein when the content is played, the playback of the content further includes a tactile presentation unit that asynchronously performs a tactile presentation based on the output tactile signal.
  • the receiving unit receives the encoded data to which an index indicating the playback timing of the content is added, A haptic presentation unit that performs haptic presentation based on the output haptic signal corresponding to the encoded data at a timing when the content corresponding to the assigned index is reproduced when the content is reproduced.
  • the information processing device according to ⁇ 16>.
  • the receiving unit receives the transfer data in which the encoded data and the content are combined and a time code is recorded as meta information.
  • a haptic presentation unit that performs haptic presentation based on the output haptic signal in synchronization with the reproduction of the content based on a time code recorded as meta information of the transfer data when the content is played back.
  • the receiving unit receives the output haptic signal or the encoded data, When the receiving unit receives the output haptic signal, haptic presentation is performed based on the received output haptic signal, When the receiving unit receives the encoded data, the decoding unit, based on the parameters of the encoded data, decodes the output haptic signal by combining the base haptic signal, The information processing device according to ⁇ 16>, further including a haptic presentation unit that performs haptic presentation based on the output haptic signal decoded by the decoding unit.
  • the receiving unit performs the learning based on machine learning using the divided information obtained by dividing the base haptic signal group of the base haptic signal group forming the input haptic signal serving as the teacher data, and the content.
  • Receiving the encoded data encoded based on the estimated division information The decoding unit, based on the parameters of the encoded data, decodes the output haptic signal by combining the base haptic signal,
  • the information processing device according to ⁇ 16>, further including a haptic presentation unit that performs haptic presentation based on the output haptic signal.
  • ⁇ 22> a receiving process of receiving encoded data including a parameter defining a plurality of base haptic signals in a base haptic signal group forming an input haptic signal; A decoding process of combining the base haptic signals based on parameters defining a plurality of base haptic signals included in the received encoded data and decoding the synthesized haptic signals into output haptic signals.
  • a receiving unit that receives encoded data including a parameter that defines a plurality of base haptic signals in a base haptic signal group that forms an input haptic signal;
  • a program that causes a computer to function as a decoding unit that combines the base haptic signals and decodes the haptic signals into output haptic signals based on parameters that define the plurality of base haptic signals included in the received encoded data.
  • 41 content reproducing system ⁇ 51 ⁇ transmitting device, ⁇ 52 ⁇ receiving device, ⁇ 53, 53A to 53C ⁇ tactile presentation device, ⁇ 53a, 53a-1 to 53a-16, 53a-21 to 53a-24, 53a-31, 53a-32 ⁇ tactile presentation portion , ⁇ 71 ⁇ control unit, ⁇ 91 ⁇ content processing unit, ⁇ 92 ⁇ haptic data processing unit, ⁇ 101 ⁇ coding unit, ⁇ 131 ⁇ control unit, ⁇ 151 ⁇ content processing unit, ⁇ 152 ⁇ decoding unit, ⁇ 231 ⁇ learning device, ⁇ 251 ⁇ control unit, ⁇ 271 ⁇ feature data extraction unit, ⁇ 272 ⁇ teacher Data generator, ⁇ 281 ⁇ encoder, ⁇ 291 ⁇ feature data extractor, ⁇ 292 ⁇ estimator

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、複数の触覚提示部に対する触覚信号を効率よく送信することができるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 送信装置において、コンテンツに含まれる触覚信号を、基底触覚信号群に分解し、分解された基底触覚信号毎に規定するパラメータからなる符号化データに変換して送信する。受信装置においては、符号化データを構成するパラメータに基づいて、それぞれの基底触覚信号を復元して、合成することで触覚信号を復元して、触覚提示する。触覚提示装置を備えたコンテンツ再生システムに適用することができる。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、多チャンネルの触覚データを低遅延で送受信できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
　送信デバイスから送信される触覚データを受信し、ジャケットなどに設けられた振動子を、触覚データに基づいた振動パターンで振動させることにより、ジャケットを装着したユーザに臨場感のある触感を楽しませる装置が提案されている（特許文献１参照）。
特開２０１８－０４５２７０号公報
　ところで、特許文献１の技術において、より高い臨場感を与えるべく、ジャケットに、より多くの振動子を設けるようにすることが考えられる。
　しかしながら、振動子の数が増えると、ジャケットに送信される触覚データのチャンネル数が増大し、増大したチャンネル数分の触覚データの送信時間が増大する恐れがある。
　本開示は、このような状況に鑑みてなされたものであり、特に、多チャンネルの触覚データを効率よく送受信できるようにするものである。
　本開示の一側面の情報処理装置および情報処理方法、並びにプログラムは、入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含む情報処理装置および情報処理方法、並びにプログラムである。
　本開示の第１の側面においては、入力触覚信号が、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化され、前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データが送信される。
　本開示の第２の側面の情報処理装置および情報処理方法、並びにプログラムは、入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部とを含む情報処理装置および情報処理方法、並びにプログラムである。
　本開示の第２の側面においては、入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データが受信され、前記受信された符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号が合成されて出力触覚信号に復号される。
　本開示の一側面によれば、多チャンネルの触覚データを効率よく送受信することが可能となる。
本開示の概要を説明する図である。 本開示の触覚データの符号化の概要を説明する図である。 本開示の触覚データの復号の概要を説明する図である。 本開示のコンテンツ再生システムの構成例を説明する図である。 ベスト型の触覚提示装置の構成例を説明する図である。 リストバンド型の触覚提示装置の構成例を説明する図である。 ポータブル機器型の触覚提示装置の構成例を説明する図である。 図４の送信装置の構成例を説明する図である。 図４の受信装置の構成例を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 再生処理を説明するフローチャートである。 触覚データ符号化処理を説明するフローチャートである。 触覚データ復号処理を説明するフローチャートである。 第１の変形例の再生処理を説明するフローチャートである。 第２の変形例の再生処理を説明するフローチャートである。 第３の変形例の再生処理を説明するフローチャートである。 機械学習を用いた触覚データ符号化処理を説明する図である。 機械学習を用いた触覚データ符号化処理を説明する図である。 学習装置の構成例を説明する図である。 機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例を説明する図である。 図２４の学習装置による学習処理を説明するフローチャートである。 機械学習を用いた触覚データ符号化処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．第１の実施の形態
　３．第２の実施の形態
　４．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　図１を参照して、本開示の概要について説明する。
　図１は、本開示の触覚データを含めたコンテンツを再生するコンテンツ再生システムの構成の概要が示されている。
　図１のコンテンツ再生システム１は、送信装置１０、受信装置１１、表示装置１２、およびユーザ２１により装着されるベスト型の触覚提示装置１３より構成され、それぞれは、図示しないが有線または無線からなる通信経路が確保されており、相互にデータを授受することができる。
　送信装置１０は、動画データ、音声データおよび触覚データを含むコンテンツを受信装置１１に供給する。
　受信装置１１は、動画データや音声データからなるコンテンツを表示装置１２に供給して、画像として表示させると共に音声として出力させることでユーザにコンテンツを視聴させる。また、同時に、受信装置１１は、触覚データをユーザ２１が装着する触覚提示装置１３に供給し、触覚データに対応した触覚提示を実現させる。
　ベスト型の触覚提示装置１３は、ユーザ２１の体の各種の部位に対して密着する位置に、複数の振動部１３ａを備えており、受信装置１１より供給される振動部１３ａ毎の触覚データに基づいて、それぞれを独立して振動させて、それぞれユーザ２１の身体の対応する部位に触覚提示する（刺激を与える）。
　同一のコンテンツに含まれる動画データ、音声データ、および触覚データは、いずれも対応したものである。このため、触覚提示装置１３を装着したユーザ２１は、表示装置１２により表示されるコンテンツの動画や音声を楽しみながら、コンテンツの流れに対応する触覚データに基づいた複数の振動部１３ａの触覚提示により、コンテンツの視聴を、より高い臨場感を持って楽しむことが可能となる。例えばユーザは表示される動画や音声コンテンツの再生経過時間と同期した触覚提示を楽しむことができる。
　ところで、図１においては、触覚提示装置１３には、１０個の振動部１３ａが描かれているが、現実には、さらに多くの振動部１３ａが設けられることも考えられる。
　振動部１３ａの数を増やすほど、より臨場感を高めることが可能となるが、触覚提示装置１３に供給される触覚データは、振動部１３ａの数に伴ってチャンネル数が増大することになる。このため、送信装置１０から受信装置１１に複数の振動部１３ａに対応する多チャンネルの触覚データを送信するための送信時間が増大する。
　結果として、触覚データの送信時間の増大に伴って触覚提示装置１３の振動部１３ａが実際に振動して触覚提示がなされるタイミングが、画像や音声に対して遅延してしまう恐れがある。
　したがって、振動部１３ａを増やし、触覚提示装置１３を装着したユーザ２１に対して、より臨場感を高めて表現できるようにするには、触覚データの送受信に係る時間を低減し、複数の振動部１３ａが動画や音声コンテンツに同期して適切なタイミングで触覚提示できるように遅延を抑制する必要がある。
　＜触覚データの符号化の概要＞
　そこで、本開示においては、触覚データに対応する触覚信号を、周波数分析、パターンマッチング、または機械学習に基づいて得られる推定器を用いた推定により、基底触覚信号群に分割し、分割結果を用いて、触覚データを符号化データに変換して、送受信する。この結果、触覚データは、分割された基底触覚信号を規定する簡単なパラメータで表現することができるので、データ量を圧縮することができ、多チャンネルの触覚データの送受信でも、触覚提示の遅延を抑制することができ、結果として、動画や音声コンテンツと同期して再生することが可能となる。
　尚、本明細書において、触覚信号とは、触覚提示装置１３の振動部１３ａが振動することによって、発生される振動を表現する波形信号であり、触覚データは、触覚信号で表現される波形信号に対応する振動を振動部１３ａによって発生させるためのデータである。換言すれば、触覚データは、触覚信号に対応した波形信号の振動を実現させるために触覚提示装置１３の振動部１３ａに供給されるコマンドやパラメータとも考えることができる。従って、振動部１３ａは、触覚データに基づいて振動するが、その振動部１３ａに入力される波形信号及びその振動により生じる波形信号が、触覚信号である。同様に、表示装置１２は、画像データおよび音声データに基づいて、画像を表示すると共に音声を出力する。
　また、基底触覚信号群とは、合成することで１つの触覚信号を生成可能な、基底となる複数の触覚信号の群である。例えば基底触覚信号群に属する複数の基底触覚信号のうち、任意の２つの基底触覚信号を抽出した場合、抽出された２つの基底触覚信号は相互に直交関係となる。
　換言すれば、基底触覚信号群に属する基底触覚信号は、いずれも相互に独立しており、類似しておらず、すなわち、相互に重複することのない触覚信号である。
　また、基底触覚信号群に属する基底触覚信号は、例えば、数百種類程度、予め用意され、同一の長さのものを含んでもよい。望ましくは様々な長さの特定の波形信号からなる触覚信号の群であり、相互に独立している触覚信号である。
　所定の触覚データに対応する触覚信号ＴＳは、複数の基底触覚信号の和として表現することができ、例えば、図２で示されるように、基底触覚信号群に属する基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・からなる分割情報ＤＩとして分割することができる。
　尚、図２の分割情報ＤＩには、基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・は、それぞれ１種類の基底触覚信号が１個ずつ存在する場合が表現されているが、同一の基底触覚信号が複数に存在することもある。
　また、基底触覚信号は、所定時間における特定の波形信号からなる触覚信号であるが、触覚信号ＴＳが分割された分割情報ＤＩにおいては、基底触覚信号のそれぞれに対して振幅の増減となるゲインや、時間方向のオフセットなどが掛けられた状態で分割されることもある。
　本開示においては、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれに対して、それぞれの基底触覚信号を識別するインデックス、それぞれに対して掛けられているゲインや時間方向のオフセットなどからなるパラメータを用いることで、触覚信号を符号化する。
　より詳細には、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれを、基底触覚信号インデックス、ゲイン、オフセット（タイムコード）、および（時間の）長さ等のパラメータで表現すると共に、合成して合成情報ＭＩを生成する。本開示では、この合成情報ＭＩを、触覚信号ＴＳの符号化データとする。
　ここで、基底触覚信号インデックスは、対象となる基底触覚信号の識別子である。ゲインは、対象となる基底触覚信号の全期間において付加されるゲインである。オフセット（タイムコード）は、対象となる基底触覚信号に基づいた振動部１３ａによる触覚提示が開始される所定のタイミングからのオフセット時間であり、長さは、対象となる基底触覚信号の長さ（時間）である。
　このように、本開示においては、触覚信号ＴＳが、基底触覚信号群に基づいて分割されて、分割された基底触覚信号毎のパラメータが用いられて符号化されることにより、任意の触覚データに対応する触覚信号ＴＳが基底触覚信号群に基づいた合成情報ＭＩからなる符号化データに圧縮される。
　＜触覚データの復号の概要＞
　符号化データの触覚データへの復号は、上述した符号化方法と逆の処理をすることで実現される。
　すなわち、符号化データは、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれの、基底触覚信号インデックス、ゲイン、オフセット、および長さ等のパラメータが合成された合成情報ＭＩである。そこで、合成情報ＭＩである符号化データを分割して、予め記憶されている基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれを規定するパラメータが抽出されると共に、抽出されたパラメータに基づいた処理が、基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・に施されることで分割情報ＤＩが復元される。
　さらに、パラメータにより分割情報ＤＩとして復元された基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれの波形信号を加算することで、元の触覚信号ＴＳ’（触覚信号ＴＳに近い触覚信号ＴＳ’）が復元され、復元された触覚信号ＴＳ’に基づいて触覚データが生成される。
　すなわち、触覚信号ＴＳは、基底触覚信号群に基づいて分割情報ＤＩとされ、分割情報ＤＩを構成する基底触覚信号毎に規定されるパラメータが用いられて合成情報ＭＩとして符号化され、符号化データである合成情報ＭＩから分割情報ＤＩが復元されて、触覚信号ＴＳ’が復元されるので、触覚データを高効率に圧縮して送受信することが可能となる。
　結果として、多チャンネルの触覚データを送受信するようにしても、一連の処理を高速で実現することが可能となり、複数の振動部１３ａを振動させる構成にしても、振動させるタイミングの遅延を抑制することが可能となるので、動画や音声コンテンツと同期させて振動させることが可能となる。
　尚、再生する触覚データによりなされる触覚提示のクオリティや、触覚提示装置１３の処理能力に応じて、基底触覚信号群に属する基底触覚信号の種類を増減させたり、基底触覚信号の長さを調整するようにしてもよい。
　すなわち、触覚提示装置１３の処理能力が高く、触覚データによりなされる触覚提示のクオリティを高くできるような場合、基底触覚信号群に含まれる基底触覚信号の種類を多くするようにしたり、基底触覚信号の長さを短くするようにするようにしてもよい。このようにすることで、より多くの種類の基底触覚信号に分割することができるので、処理負荷は高いがハイクオリティな多チャンネルの触覚データでも高速で送受信することが可能となり、触覚提示の遅延を抑制することが可能となる。
　逆に、触覚提示装置１３の処理能力が低く、触覚データによりなされる触覚提示のクオリティを低くしてでも高速処理を優先したい場合、基底触覚信号群に含まれる基底触覚信号の数を少なくしたり、基底触覚信号の長さを長くするようにしてもよい。このようにすることで、分割すべき基底触覚信号の種別が少なくなり、処理負荷を低減することが可能となり、処理能力の低い触覚提示装置１３であっても多チャンネルの触覚データを高速に送受信することが可能となり、触覚提示の遅延を抑制することが可能となる。
　尚、符号化前の触覚信号ＴＳと、符号化された後、復元された触覚信号ＴＳ’は、厳密には異なる信号となる場合がある。これは、入力された触覚信号ＴＳが分割情報ＤＩに分割される際、有限の基底触覚信号群により分割されることになるためであり、分割情報ＤＩを用いて触覚信号を復元しても、完全な触覚信号ＴＳとはならない場合があるからであり、この場合、触覚信号ＴＳに近い触覚信号ＴＳ’が再現されるためである。
　そこで、以降においては、触覚信号について、符号化前と符号化後で、特に区別が必要な場合、入力された符号化前の触覚信号を入力触覚信号と称し、符号化後に復元されて出力される触覚信号を出力触覚信号とも称する。また、同様に、必要に応じて、入力触覚信号に対応する触覚データを入力触覚データとも称し、出力触覚信号に対応する触覚データを出力触覚データとも称する。
　＜＜２．第１の実施の形態＞＞
　＜コンテンツ配信システムの構成例＞
　次に、図４を参照して、本開示の画像データ、音声データ、および触覚データを含めたコンテンツを再生するコンテンツ再生システムの構成例について説明する。
　図４のコンテンツ再生システム４１は、送信装置５１、受信装置５２、触覚提示装置５３、および表示装置５４より構成される。
　送信装置５１は、図１の送信装置１０に対応する構成であり、無線通信、または、有線通信などにより構成されるLAN（Local Area Network）に代表されるネットワークを介して、受信装置５２に対して、画像データ、および音声データに加えて、触覚データを含むコンテンツのデータを送信する。
　受信装置５２は、図１の受信装置１１に対応する構成であり、ブルートゥース（登録商標）等の近距離通信、若しくはWiFi等の無線通信、または、有線通信などにより構成されるLAN（Local Area Network）に代表されるネットワークを介して、触覚提示装置５３に対して、コンテンツデータに含まれる触覚データを送信し、触覚データに応じて振動部などからなる触覚提示部５３ａ－１乃至５３ａ－ｎを振動させることにより触覚提示する。
　また、受信装置５２は、WiFi等の無線通信、または、有線通信を介して、表示装置５４にコンテンツデータに含まれる、画像データ、および音声データを表示装置５４に出力して表示させると共に音声として出力させる。
　触覚提示装置５３は、例えば、図１の触覚提示装置１３に対応する構成であり、振動部１３ａに対応する複数の触覚提示部５３ａ－１乃至５３ａ－ｎを備えた構成である。触覚提示装置５３は、ユーザに装着されることで、触覚提示部５３ａ－１乃至５３ａ－ｎがユーザの身体の所定の部位に接触する構成とされている。尚、以降において、触覚提示部５３ａ－１乃至５３ａ－ｎを特に区別する必要がない場合、単に、触覚提示部５３ａと称するものとし、それ以外の構成も同様に称する。
　触覚提示装置５３は、受信装置５２より供給される、コンテンツの再生状態に対応する触覚データに基づいて、複数の触覚提示部５３ａを振動させて、ユーザの体の所定の部位への触覚提示を実行し、所定の刺激を与える。この結果、ユーザは、表示装置５４で再生されているコンテンツを視聴するとき、再生されるシーンに応じて、触覚提示部５３ａ－１乃至５３ａ－ｎから体の所定の部位に触覚提示がなされることで、臨場感のあるコンテンツの視聴を楽しむことが可能となる。
　尚、ここでは、触覚提示部５３ａは、時系列に振動を発生してユーザの所定の部位に対して刺激を与える振動部を例として説明を進めるものとするが、触覚データに基づいて動作するものであれば、それ以外であってもよく、例えば、筋電気刺激や圧力を時系列に掛けるものであってもよい。
　表示装置５４は、図１の表示装置１２に対応するものであり、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence:）からなるディスプレイであり、また、スピーカを備えている。表示装置５４は、受信装置５２から供給される画像データに基づいて画像を表示すると共に、音声データに基づいて音声を出力する。
　＜触覚提示装置の構成例＞
　（ベスト型の触覚提示装置について）
　触覚提示装置５３は、例えば、図５で示されるようなベスト型の触覚提示装置５３Ａであってもよい。
　図５のベスト型の触覚提示装置５３Ａには、ユーザの体の前面の部位に対して振動により触覚提示を行う触覚提示部５３ａ－１１乃至５３ａ－１６が設けられている。
　これらの触覚提示部５３ａ－１１乃至５３ａ－１６は、例えばピエゾ素子アクチュエータなどからなり、受信装置５２より供給された触覚信号に基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。
　（リストバンド型の触覚提示装置について）
　また、触覚提示装置５３は、例えば、図６で示されるようにリストバンド型の触覚提示装置５３Ｂとすることもできる。
　図６の触覚提示装置５３Ｂは、ユーザの手首近傍の部分に装着される。
　触覚提示装置５３Ｂは、触覚提示部５３ａ－２１乃至５３ａ－２４が設けられており、振動することで触覚を提示する機能を有するリストバンド型のデバイスとなっている。
　この触覚提示装置５３Ｂには、ユーザの手首近傍の部分に対して振動により触覚提示を行う触覚提示部５３ａ－２１乃至５３ａ－２４が設けられている。
　これらの触覚提示部５３－２１乃至５３－２４は、例えばピエゾ素子アクチュエータなどからなり、供給された触覚信号に基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。
　（ポータブル機器型の触覚提示装置について）
　さらに、触覚提示装置５３は、例えば、図７に示すようにゲーム機器等のポータブル機器型の触覚提示装置５３Ｃとすることもできる。この場合、触覚提示装置５３に対する表示装置５４とを一体化した構成とするようにしてもよい。
　すなわち、図７で示されるように、触覚提示装置５３Ｃは、ユーザが手で持った状態で操作されるポータブル機器とされている。例えばユーザは触覚提示装置５３Ｃの両端を手で持ち、液晶表示パネル等の表示装置５４と同様に機能する表示部Ｄに表示されるコンテンツの画像を見たり、図示せぬスピーカやヘッドフォンなどから出力される音声を聞きながら、触覚提示装置５３Ｃに設けられたボタンＢ１乃至Ｂ４を操作することでゲーム等を行う。
　この触覚提示装置５３Ｃの内部の端部分には、表示部Ｄに表示されたコンテンツの画像や出力される音声に応じてユーザに対して触覚提示を行うための触覚提示部５３ａ－３１，５３ａ－３２が設けられている。
　これらの触覚提示部５３ａ－３１，５３ａ－３２は、例えばピエゾ素子アクチュエータなどからなり、受信装置５２より供給された触覚データに基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。なお、図５乃至図７に示した例において、触覚提示装置５３として振動刺激とは異なるカテゴリの触覚提示を行うための触覚提示装置５３が設けられていてもよい。
　＜送信装置の構成例＞
　次に、図８を参照して、送信装置５１の構成例について説明する。
　送信装置５１は、制御部７１、通信部７２、記憶部７３、入力部７４、出力部７５、ドライブ７６、およびリムーバブル記憶媒体７７より構成されており、相互にバス７８を介して接続されており、データやプログラムを送受信することができる。
　制御部７１は、プロセッサやメモリから構成されており、送信装置５１の動作の全体を制御する。制御部７１は、コンテンツ処理部９１、および触覚データ処理部９２を備えている。
　コンテンツ処理部９１は、記憶部７３に記憶されている画像データ、音声データ、および触覚データを含むコンテンツデータを読み出し、通信部７２を制御して、受信装置５２に送信する。この際、コンテンツ処理部９１は、触覚データを、触覚データ処理部９２に供給し、符号化データに変換させた後、変換された符号化データと、画像データおよび音声データとを併せて受信装置５２に送信させる。
　触覚データ処理部９２は、符号化部１０１を備えており、コンテンツ処理部９１より供給されるコンテンツデータのうちの触覚データを入力触覚データとして符号化データに変換させて、コンテンツ処理部９１に出力する。尚、符号化部１０１による触覚データの符号化方法については、図１０，図１１を参照して詳細を後述する。
　通信部７２は、制御部７１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、受信装置５２との間で各種のデータやプログラムを送受信する。
　記憶部７３は、制御部７１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。
　入力部７４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部７１に供給する。
　出力部７５は、制御部７１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。
　ドライブ７６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体７７に対してデータを読み書きする。
　＜受信装置の構成例＞
　次に、図９を参照して、受信装置５２の構成例について説明する。
　受信装置５２は、制御部１３１、通信部１３２、記憶部１３３、入力部１３４、出力部１３５、ドライブ１３６、およびリムーバブル記憶媒体１３７より構成されており、相互にバス１３８を介して接続されており、データやプログラムを送受信することができる。
　制御部１３１は、プロセッサやメモリから構成されており、受信装置５２の動作の全体を制御する。制御部１３１は、コンテンツ処理部１５１、および触覚データ処理部１５２を備えている。
　コンテンツ処理部１５１は、通信部１３２を介して送信装置５１より供給されてくる画像データ、音声データ、および入力触覚データが符号化された符号化データを含むコンテンツデータを取得する。そして、コンテンツ処理部１５１は、通信部１３２を制御して、画像データ、および音声データを表示装置５４に出力して画像として表示させると共に音声として出力させる。また、コンテンツ処理部１５１は、符号化データを触覚データ処理部１５２に供給し、出力触覚データとして復元させた後、出力触覚データを触覚提示装置５３に供給して、出力触覚データに基づいて触覚提示部５３ａにより触覚提示させる。
　触覚データ処理部１５２は、復号部１６１を備えており、コンテンツ処理部１５１より供給される符号化データを復号して、元の触覚データである入力触覚データに対応する出力触覚データとして復元させて、コンテンツ処理部１５１に出力する。尚、復号部１６１による符号化データの出力触覚データへの復元方法については、図１０，図１１を参照して詳細を後述する。
　通信部１３２は、制御部１３１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、送信装置５１との間で各種のデータやプログラムを送受信する。
　記憶部１３３は、制御部１３１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。また、記憶部１３３には、復号部１６１が、符号化データを復号する際に必要とされる基底触覚信号群の情報が記憶されている。
　入力部１３４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部１３１に供給する。
　出力部１３５は、制御部１３１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。
　ドライブ１３６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１３７に対してデータを読み書きする。
　＜触覚データの符号化方法および復号方法＞
　次に、図１０を参照して、触覚データの符号化方法および復号方法について説明する。
　１個の触覚提示部５３ａを振動させるための入力触覚データに基づいた入力触覚信号が、例えば、図１０の右部で示されるような振動波形からなる入力触覚信号である場合について考える。
　符号化部１０１は、図１０の右部で示されるような入力触覚信号を、周波数分析、またはパターンマッチング等により、図１０の左部で示されるように、基底触覚信号群に属する複数の基底触覚信号に分割し、分割情報を生成する。
　図１０の左部においては、３種類の基底触覚信号ＢＴＳ１乃至ＢＴＳ３に分割されており、それぞれのオフセット（タイムコード）が求められている。
　より詳細には、図１０の右部の時刻ｔ１乃至ｔ５１の波形については、図１０の左部における基底触覚信号ＢＴＳ１－１，ＢＴＳ２－１，ＢＴＳ３－１に分割されて、図１０の右部の時刻ｔ２２乃至ｔ５２の波形については、図１０の左部における基底触覚信号ＢＴＳ３－２，ＢＴＳ３－３，ＢＴＳ２－２，ＢＴＳ１－２，ＢＴＳ１－３に分割される。
　すなわち、基底触覚信号ＢＴＳ１については、時刻ｔ１乃至ｔ３のそれぞれのオフセット（タイムコード）されたタイミングが、基底触覚信号ＢＴＳ１－１乃至ＢＴＳ１－３の開始タイミングとされている。
　また、基底触覚信号ＢＴＳ２については、時刻ｔ１１，ｔ１２のそれぞれのオフセット（タイムコード）されたタイミングが、基底触覚信号ＢＴＳ２－１，ＢＴＳ２－２の開始タイミングとされている。
　さらに、基底触覚信号ＢＴＳ３については、時刻ｔ２１乃至ｔ２３のそれぞれのオフセットタイミングにおいて、基底触覚信号ＢＴＳ３－１乃至ＢＴＳ３－３が開始タイミングとされている。
　符号化部１０１は、図１０の左部で求められるような分割結果に基づいて、符号化データを生成する。
　すなわち、符号化部１０１は、図１０の左部で求められるような分割結果に基づいて、例えば、基底触覚信号を識別する基底触覚信号インデックス、それぞれの基底触覚信号のオフセット（タイムコード）、および長さの情報からなる基底触覚信号に係るパラメータを符号化する。
　ここで、基底触覚信号インデックスは、基底触覚信号ＢＴＳ１乃至ＢＴＳ３が３種類であるので、符号化部１０１は、基底触覚信号のそれぞれを対応する１，２，３のいずれかをパラメータとして用いる。
　また、オフセット（タイムコード）は、図１０の左部の場合については、時刻ｔ１乃至ｔ３，ｔ１１，ｔ１２，ｔ２１，ｔ２２，ｔ２３のいずれかであるので、符号化部１０１は、対応するオフセットを示すタイムコードをパラメータとして用いる。
　さらに、基底触覚信号ＢＴＳ１乃至ＢＴＳ３は、それぞれ予め決められた長さＴ１乃至Ｔ３であるので、符号化部１０１は、その情報をパラメータとして用いる。
　結果として、図１０の左部においては、例えば、基底触覚信号ＢＴＳ１－１の場合、符号化部１０１は、（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（１，ｔ１，Ｔ１）のように符号化する。
　同様に、基底触覚信号ＢＴＳ１－２，ＢＴＳ１－３の場合、符号化部１０１は、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットタイミングを示すタイムコード、および長さ）＝（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１）のように符号化する。
　また、基底触覚信号ＢＴＳ２－１，ＢＴＳ２－２の場合、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２）のように符号化される。
　さらに、基底触覚信号ＢＴＳ３－１乃至ＢＴＳ３－３の場合、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３），（３，ｔ２３，Ｔ３）のように符号化される。
　そして、符号化部１０１は、このように基底触覚信号毎に求められた符号化結果を、加算して合成することにより、入力触覚データに対応する入力触覚信号の符号化データを生成する。すなわち、図１０の左部で示されるような入力触覚信号の分割情報により、例えば、（１，ｔ１，Ｔ１），（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３）のような、複数の基底触覚信号に対する符号化結果が合成されて、入力触覚信号の符号化データが生成される。
　この一連の処理により、入力触覚データに対応する入力触覚信号が符号化データに変換される。
　一方、復号部１６１は、上述した入力触覚データを符号化データに変換した処理と逆の処理により符号化データを出力触覚データに変換する。
　すなわち、復号部１６１は、上述した様に生成された符号化データ（１，ｔ１，Ｔ１），（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３）が供給されると、合成されている複数の符号化データを分解し、それぞれの基底触覚信号を復元する。
　すなわち、例えば、（１，ｔ１，Ｔ１）は、基底触覚信号インデックスが１であり、基底触覚信号のオフセットタイミングを示すタイムコードがｔ１であり、長さがＴ１であるので、復号部１６１は、記憶部１３３に記憶されている基底触覚信号群のうち、基底触覚信号インデックスが１となる基底触覚信号を読み出して、オフセット＝ｔ１に対応する処理を加えて、図１０の左部における基底触覚信号ＢＴＳ１－１を復元する。
　同様に、復号部１６１は、（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３），（３，ｔ２３，Ｔ３）の符号化データに基づいて、基底触覚信号ＢＴＳ１－２，ＢＴＳ１－３，ＢＴＳ２－１，ＢＴＳ２－２，ＢＴＳ３－１，ＢＴＳ３－２，ＢＴＳ３－３のそれぞれを、図１０の左部で示されるような信号波形からなる出力触覚信号として復元する。
　そして、復号部１６１は、図１０の左部のように求められた復元結果の信号波形を加算して合成することにより、図１０の右部で示されるような、最終的な出力触覚信号の信号波形を復元し、対応する出力触覚データを生成する。より詳細には、図１０の左部で示される基底触覚信号ＢＴＳ１－１，ＢＴＳ２－１，ＢＴＳ３－１が加算されて、図１０の右部における時刻ｔ１乃至ｔ５１で示されるような波形からなる出力触覚信号が復元される。また、図１０の左部で示される基底触覚信号ＢＴＳ３－２，ＢＴＳ３－３，ＢＴＳ２－２，ＢＴＳ１－２，ＢＴＳ１－３が加算されて、図１０の右部における時刻ｔ２２乃至ｔ５２で示されるような波形からなる出力触覚信号が復元される。
　以上のような符号化処理、および復号処理により、所定数の基底触覚信号毎のパラメータを用いて表現するだけでよくなるので、触覚データに基づいた触覚信号の波形を、時系列に時刻と波形値とを対応付けて１点ずつデータ化する従来の触覚データよりも高効率に圧縮することが可能となる。
　これにより、多チャンネルの触覚データを送受信しても、効率よく送受信することができるので、送受信に係る時間を短縮させることが可能になる。
　結果として、多チャンネルの触覚データを送受信するようにしても、送受信に係る時間を低減させることが可能となるので、多チャンネルの触覚データを送受信しても触覚提示に係る遅延の発生を抑制することが可能となり、画像や音声コンテンツと同期して触覚提示することが可能となる。
　＜符号化データにおけるパラメータの追加＞
　以上においては、符号化データのパラメータとして、基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さが用いられてきたが、さらに、基底触覚信号にアレンジを加えるパラメータを追加するようにしてもよい。
　例えば、基底触覚信号の長さで規定される時間内におけるゲインの変化を様々な包絡線で表現し、包絡線の種類をインデックスとしたパラメータを設定するようにしてもよい。
　また、例えば、基底触覚信号の長さで規定される全時間内における一定のゲインの変化をパラメータとして設定するようにしてもよい。
　すなわち、基底触覚信号の長さで規定される時間内におけるゲインの変化を表現する包絡線とは、例えば、図１１の左部で示されるような包絡線ＥＶ１乃至ＥＶ４である。
　包絡線ＥＶ１は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、時刻ｔｓ，ｔｅにおいてゲインがゼロとなるが、その間においては基底触覚信号に対して一定のゲインが維持されることを表現している。
　包絡線ＥＶ２は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは一定の割合でゲインが上昇し、中間時刻ｔｈ以降は一定の割合でゲインが下降することを表現している。
　包絡線ＥＶ３は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは下に凸の波形変化でゲインが上昇し、中間時刻ｔｈ以降は下に凸の波形変化でゲインが下降することを表現している。
　包絡線ＥＶ４は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは上に凸の波形変化でゲインが上昇し、中間時刻ｔｈ以降は上に凸の波形変化でゲインが下降することを表現している。
　このように包絡線を設定することにより、基底触覚信号のフェードイン、およびフェードアウトを規定することが可能となり、基底触覚信号間の重なり合う部分の割合を適切に表現することが可能となる。
　例えば、図１２の左上部で示されるように、基底触覚信号ＢＴＳ１に対して、包絡線ＥＶ２が適用され、全時間帯におけるゲインが０であり、オフセットとなるタイムコードが０である場合、基底触覚信号ＢＴＳ１は、包絡線ＥＶ２により波形全体が上下方向に凸の三角形状に変化して、図１２の中央部の波形で示される基底触覚信号ＢＴＳ１’とされる。
　また、例えば、図１２の左下部で示されるように、基底触覚信号ＢＴＳ２に対して、包絡線ＥＶ４が適用され、全時間帯におけるゲインが－６ｄＢであり、オフセットとなるタイムコードが０．５である場合、基底触覚信号ＢＴＳ２は、包絡線ＥＶ４により波形全体が上下方向に凸の曲線状に変化すると共に、全体として波形の波高が小さくなり、さらに、時間方向に０．５だけオフセットされることにより、図１２の中央部の波形で示される基底触覚信号ＢＴＳ２’とされる。
　図１２の中央部における基底触覚信号ＢＴＳ１’と基底触覚信号ＢＴＳ２’とが合成されることにより、図１２の右部で示されるような合成波形が得られる。
　従って、ゲイン、および包絡線を規定するパラメータを用いるようにすることで、有限の基底触覚信号を組み合わせて表現する触覚信号のバリエーションを広げることが可能となり、より繊細な触覚提示が可能となる。
　尚、以降において、触覚信号に対応する触覚データの符号化に当たっては、符号化データとして、基底触覚信号毎に、基底触覚信号インデックス、（基底触覚信号のオフセットタイミングを示す）タイムコード、ゲイン、長さ、包絡線インデックスをパラメータとするものとして説明を進める。
　＜多チャンネルの触覚信号の表現＞
　以上においては、１個の触覚提示部５３ａの触覚データに対する符号化データについて説明してきたが、現実には、触覚提示部５３ａは複数に存在するため、符号化データは、複数の触覚提示部５３ａのそれぞれに対して１チャンネルずつ符号化データが求められる。
　すなわち、ｎ個の触覚提示部５３ａ－１乃至５３ａ－ｎが設けられる場合、図１３で示されるように、ｎチャンネル分の符号化データが求められる。
　図１３においては、最上段に触覚提示部５３ａ－１の符号化データとして、触覚提示部１ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。
　また、２段目には、触覚提示部５３ａ－２の符号化データとして、触覚提示部２ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。
　そして、ｎ段目には、触覚提示部５３ａ－ｎの符号化データとして、触覚提示部１ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。
　すなわち、触覚提示部５３ａ毎に各チャンネルについて、基底触覚信号インデックス１乃至ｍのそれぞれの符号化データが設定される。
　また、符号化データのうち、パラメータが他のチャンネルと同一であるような場合については、他のチャンネルと同一であることを示す情報を付して、パラメータを記載しないようにしてもよい。
　すなわち、例えば、触覚提示部２ｃｈにおける、基底触覚信号インデックス２のタイムコードが、基底触覚信号インデックス１のタイムコードと同一であるような場合については、図１４で示されるように、（基底触覚信号インデックス２，1ch，ゲイン，1ch（tx→ty），包絡線インデックス）と記載し、タイムコードの情報が，触覚提示部１ｃｈと同一であると共に、基底触覚信号の長さが1chと同じであって、同一の範囲が時刻tx乃至tyの範囲であることを表現するようにしてもよい。
　また、基底触覚信号インデックスｍのゲインが触覚提示部１ｃｈにおけるゲインより５ｄＢ高いような場合については、図１４で示されるように、（基底触覚信号インデックスｍ，タイムコード、1ch+5，長さ，包絡線インデックス）と記載し、ゲインが触覚提示部１ｃｈにおけるゲインに対して５ｄＢ高いことを表現するようにしてもよい。
　さらに、触覚提示部５３ａ－１乃至５３ａ－ｎの符号化データから、基準となる触覚提示基準符号を設定し、各チャンネルの符号化データについては、触覚提示基準符号との差分を符号化データとするようにしてもよい。
　触覚提示基準符号は、例えば、図１５の最上段で示されるように、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）の符号化データから構成される。この符号化データは、例えば、触覚提示部５３ａ－１乃至５３ａ－ｎの符号化データのそれぞれのパラメータの平均値、最小値、または最大値などの値が設定されてもよい。
　そして、各チャンネルの触覚提示部５３ａの符号化データは、その差分が設定される。
　すなわち、図１５の上から２段目で示されるように、触覚提示部１ｃｈで示される触覚提示部５３ａ－１の符号化データは、（基底触覚信号インデックス１，+5、-2，0，-2），・・・（基底触覚信号インデックス２，-4、0，+110，-2），・・・（基底触覚信号インデックスｍ，+1、-10，0，+1）の符号化データから構成される。
　この場合、触覚提示部１ｃｈで示される触覚提示部５３ａ－１の符号化データは、基底触覚信号インデックス１の符号化データのタイムコードが触覚提示基準符号に対して+5msであり、ゲインが触覚提示基準符号に対して-2dBであり、長さが触覚提示基準符号に対して同一であり、包絡線インデックスが触覚提示基準符号に対して-2であることが表されている。
　また、基底触覚信号インデックス２の符号化データは、タイムコードが触覚提示基準符号に対して-4msであり、ゲインが触覚提示基準符号に対して同一であり、長さが触覚提示基準符号に対して+110msであり、包絡線インデックスが触覚提示基準符号に対して-2であることが表されている。
　さらに、基底触覚信号インデックスｍの符号化データは、タイムコードが触覚提示基準符号に対して+1msであり、ゲインが触覚提示基準符号に対して-10dBであり、長さが触覚提示基準符号に対して同一であり、包絡線インデックスが触覚提示基準符号に対して+1であることが表されている。
　また、図１５の上から３段目で示されるように、触覚提示部２ｃｈで示される触覚提示部５３ａ－１の符号化データは、いずれも0であるので、触覚提示基準符号と同一であることが表されている。
　さらに、図１５の最下段で示されるように、触覚提示部ｎｃｈで示される触覚提示部５３ａ－ｎの符号化データは、（基底触覚信号インデックス１，+6、-10，110，+2），・・・（基底触覚信号インデックス２，+4、0，+20，-5），・・・（基底触覚信号インデックスｍ，0、-60，+2，-1）の符号化データから構成される。
　この場合、触覚提示部ｎｃｈで示される触覚提示部５３ａ－ｎの符号化データは、基底触覚信号インデックス１の符号化データのタイムコードが触覚提示基準符号に対して+6msであり、ゲインが触覚提示基準符号に対して-10dBであり、長さが触覚提示基準符号に対して+110msであり、包絡線インデックスが触覚提示基準符号に対して+2であることが表されている。
　また、基底触覚信号インデックス２の符号化データは、タイムコードが触覚提示基準符号に対して+4msであり、ゲインが触覚提示基準符号に対して同一であり、長さが触覚提示基準符号に対して+20msであり、包絡線インデックスが触覚提示基準符号に対して-5であることが表されている。
　さらに、基底触覚信号インデックスｍの符号化データは、タイムコードが触覚提示基準符号に対して同一であり、ゲインが触覚提示基準符号に対して-60dBであり、長さが触覚提示基準符号に対して+2msであり、包絡線インデックスが触覚提示基準符号に対して-1であることが表されている。
　いずれにおいても、差分情報のみの符号化データとなるので、符号化データをより効率よく圧縮することが可能となり、符号化データの通信速度を向上させることが可能となる。また、図１５の基底触覚信号インデックス２の符号化データのように、全てが触覚提示基準符号と同一になるような場合については、基底触覚信号インデックス２の符号化データが全て、触覚提示基準符号と同一であることを１個の符号で表現するようにしてもよい。
　＜再生処理＞
　次に、図１６のフローチャートを参照して、図４のコンテンツ再生システムによるコンテンツの再生処理について説明する。
　ステップＳ１１において、コンテンツ処理部９１は、記憶部７３に記憶されている画像データ、音声データ、および触覚データ（入力触覚データ）を含むコンテンツデータを読み出す。
　ステップＳ１２において、コンテンツ処理部９１は、読み出したコンテンツデータより画像データ、音声データ、および触覚データ（入力触覚データ）を抽出する。
　ステップＳ１３において、触覚データ処理部９２は、触覚データ符号化処理を実行して、触覚データ（入力触覚データ）を符号化データに変換する。
　＜触覚データ符号化処理＞
　ここで、図１７のフローチャートを参照して、触覚データ符号化処理について説明する。
　ステップＳ５１において、送信装置５１の制御部７１における触覚データ処理部９２は、コンテンツ処理部９１においてコンテンツデータより抽出された触覚データ（入力触覚データ）を読み出す。
　ステップＳ５２において、符号化部１０１は、触覚データ（入力触覚データ）に基づいて、触覚信号（入力触覚信号）を生成させる。ここでいう、触覚信号は、例えば、図１０の右部で示されるような信号波形である。
　ステップＳ５３において、符号化部１０１は、信号波形からなる触覚信号（入力触覚信号）を、周波数分析やパターンマッチングに掛けることにより、基底触覚信号群に分割し、分割情報を生成する。すなわち、例えば、図１０の右部で示されるような信号波形からなる触覚信号である場合、符号化部１０１は、図１０の左部で示されるような基底触覚信号群からなる分割情報を生成する。
　ステップＳ５４において、符号化部１０１は、分割情報に基づいて、基底触覚信号群のそれぞれについて、パラメータを設定する。より詳細には、符号化部１０１は、図１０の左部で示されるような分割情報に基づいて、基底触覚信号群のそれぞれについて、基底触覚信号インデックス、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれに対応するパラメータを設定する。
　ステップＳ５５において、符号化部１０１は、分割情報である基底触覚信号群のそれぞれに設定されたパラメータを符号化し、これらを合成して得られる合成情報を符号化データとして出力する。
　ここで、図１６のフローチャートの説明に戻る。
　ステップＳ１４において、コンテンツ処理部９１は、通信部７２を制御して、符号化データに加えて、画像データおよび音声データからなるコンテンツデータを受信装置５２に送信する。
　ステップＳ３１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、符号化データに加えて、画像データおよび音声データからなるコンテンツデータを受信する。
　ステップＳ３２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信されたコンテンツデータのうちの符号化データを触覚データ（出力触覚データ）に復号する。
　＜触覚データ復号処理＞
　ここで、図１８のフローチャートを参照して、触覚データ復号処理について説明する。
　ステップＳ７１において、触覚データ処理部１５２は、コンテンツ処理部１５１により受信されたコンテンツデータのうち符号化データを読み出す。
　ステップＳ７２において、復号部１６１は、符号化データに基づいて、基底触覚符号化群毎に設定されたパラメータを読み出す。
　ステップＳ７３において、復号部１６１は、読み出されたパラメータに基づいて、基底触覚符号化群毎に設定された分割情報を復元する。すなわち、復号部１６１は、基底触覚信号インデックス、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれのパラメータに基づいて、図１０の左部で示されるような基底触覚信号群からなる分割情報を復元する。すなわち、復号部１６１は、基底触覚信号インデックスに対応する基底触覚信号を記憶部１３３より読み出し、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれのパラメータに基づいた処理を加えることにより、基底触覚信号毎に分割情報を復元する。
　ステップＳ７４において、復号部１６１は、分割情報を合成して触覚信号を（出力触覚信号として）復元する。すなわち、復号部１６１は、図１０の左部で示されるような基底触覚信号群からなる分割情報に基づいて、図１０の右部で示されるような触覚信号を（出力触覚信号として）復元する。
　ステップＳ７５において、復号部１６１は、触覚信号（出力触覚信号）に基づいて、触覚データ（出力触覚データ）を生成する。
　ここで、図１６のフローチャートの説明に戻る。
　ステップＳ３３において、コンテンツ処理部１５１は、画像データおよび音声データを表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させることで再生させる。
　ステップＳ３４において、コンテンツ処理部１５１は、復号された触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚提示部５３ａのそれぞれを振動させることで再生させる（触覚提示させる）。
　尚、この場合、コンテンツ処理部１５１は、送信されてきた画像データおよび音声データを表示装置５４に供給して再生させる処理と、触覚データ（出力触覚データ）を触覚提示装置５３に供給して触覚提示させる処理とを、それぞれ独立したタイミング制御情報によりタイミングを管理して実行する。
　また、ステップＳ１５，Ｓ３５において、終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、ステップＳ１１，Ｓ３１に戻り、それ以降の処理が繰り返される。
　そして、ステップＳ１５，Ｓ３５において、終了が指示された場合、再生処理が終了する。
　以上の処理により、触覚データ（入力触覚データ）が符号化データに変換されて、圧縮されて送信されて、受信された後、触覚データ（出力触覚データ）が復元されることにより、触覚データを効率よく送受信させることが可能となり、コンテンツの再生において、触覚提示部５３ａによる触覚提示の遅延を抑制することが可能となる。
　結果として、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、効率よく送受信されるので、送受信に係る時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。
　また、以上の処理においては触覚提示部５３ａが１個である場合についての処理として説明したが、触覚提示部５３ａが複数に存在し、多チャンネルの触覚データと対応する符号化データが必要な場合については、それぞれのチャンネルについて、ステップＳ１１乃至Ｓ１３の処理を実行して、処理結果となる符号化データを、例えば、図１３乃至図１５を参照して説明したよう多チャンネル分の纏まった符号化データとして、ステップＳ１４において、受信装置５２に送信されるようにしてもよい。
　この場合、ステップＳ３２において、多チャンネル分の符号化データが復号されて、触覚データに変換されて、ステップＳ３４において、複数の触覚提示部５３ａにより触覚提示がなされるようにしてもよい。
　これにより、図１４や図１５を参照して説明したように、他のチャンネルの情報と同一の情報について省略することができるので、より効率よく触覚データを送受信することが可能となり、より効率よく触覚提示の遅延を抑制することが可能となる。
　＜第１の変形例＞
　以上においては、画像データおよび音声データに加えて、触覚データ（入力触覚データ）が符号化された符号化データが、送信装置５１から受信装置５２に送信されて、受信された後、符号化データから触覚データが（出力触覚データとして）復元されて、画像データおよび音声データと、触覚データ（出力触覚データ）とがそれぞれ独立したタイミング制御情報に基づいて再生させる例について説明してきた。
　しかしながら、画像データおよび音声データについては、受信装置５２が予め記憶部１３３やリムーバブル記憶媒体１３７に記憶しておき、送信装置５１から受信装置５２に送信するのは、触覚データ（入力触覚データ）が符号化された符号化データのみにするようにしてもよい。
　このようにすることで、送信装置５１、および受信装置５２の相互で送受信される情報は、触覚データ（入力触覚データ）が変換された符号化データのみとなるので、送受信に係る処理時間を短縮することが可能となり、触覚データの送受信時間の増大による触覚提示の遅延の発生を抑制することが可能となる。
　＜第１の変形例における再生処理＞
　次に、図１９のフローチャートを参照して、第１の変形例におけるコンテンツの再生処理について説明する。尚、図１９におけるステップＳ１０１乃至１０３，Ｓ１０６，Ｓ１３５の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ３５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１０１乃至Ｓ１０３において、画像データ、音声データ、および符号化データが用意される。
　そして、ステップＳ１０４において、コンテンツ処理部９１は、生成された符号化データに、画像データおよび音声データの再生タイミングに対応するインデックスを付与する。
　ステップＳ１０５において、コンテンツ処理部９１は、通信部７２を制御して、インデックスが付与された符号化データのみを受信装置５２に送信する。
　ステップＳ１３１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、インデックスが付与された符号化データを受信する。
　ステップＳ１３２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信されたコンテンツデータのうちの符号化データを触覚データ（出力触覚データ）に復号する。この際、復号される前の符号化データに付与されたインデックスを、復号後の触覚データ（出力触覚データ）に付与する。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その処理は、省略する。
　ステップＳ１３３において、コンテンツ処理部１５１は、記憶部１３３やリムーバブル記憶媒体１３７に記憶された画像データおよび音声データを読み出し、表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させる。
　ステップＳ１３４において、コンテンツ処理部１５１は、表示装置５４において再生されている画像データおよび音声データの再生タイミングを示すインデックスに対応する触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚データ（出力触覚データ）に基づいて、触覚提示部５３ａのそれぞれを触覚提示させる。
　すなわち、この場合、画像データおよび音声データの再生タイミングに対応するインデックスが付与された符号化データのみが送受信されるので、送受信時間を短縮させることが可能となり、触覚提示部５３ａにおいて触覚提示するタイミングが、画像データおよび音声データが表示装置５４から出力されるタイミングに対して遅延することが防止される。
　また、画像データおよび音声データの再生タイミングに対応するインデックスが付与された、触覚データ（出力触覚データ）に基づいた触覚提示部５３ａにおける触覚提示がされるので、画像および音声が再生されるタイミングと、触覚提示がなされるタイミングとを同期させることが可能となる。
　さらに、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、送受信時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。
　＜第２の変形例＞
　以上においては、画像データおよび音声データに対応するインデックスが付与された触覚データに対応する符号化データのみが、送信装置５１から受信装置５２に送信されて、受信装置５２において、自ら記憶している画像データおよび音声データが再生されると共に、対応するインデックスが付与された触覚データを同期して再生させる例について説明してきた。
　しかしながら、符号化データについては、画像データ、音声データ、および（入力触覚データが符号化された）符号化データがそれぞれ識別可能な状態で１つにまとめられたフォーマット（マルチメディアコンテナフォーマット）からなる転送データに格納され、符号化データから復号された触覚データ（出力触覚データ）と、画像データおよび音声データとの再生を同期させるためのタイムコードが転送データにおけるメタ情報として記録されるようにしてもよい。この場合、画像データ、音声データ、および符号化データに対応する符号化データがそれぞれ識別可能な状態で１つにまとめられたフォーマットからなる転送データは、送信装置５１から受信装置５２に送信され、受信装置５２において、転送データに含まれる符号化データから触覚データ（出力触覚データ）が復号されると、メタ情報として記録されているタイムコードが読み出されて、画像データおよび音声データが再生される際、同期して触覚データ（出力触覚データ）に基づいた触覚提示がなされる。
　＜第２の変形例における再生処理＞
　次に、図２０のフローチャートを参照して、第２の変形例におけるコンテンツの再生処理について説明する。尚、図２０におけるステップＳ１５１乃至１５３，Ｓ１５６，Ｓ１７５の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ３５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１５１乃至Ｓ１５３において、画像データ、音声データ、および符号化データが用意される。
　そして、ステップＳ１５４において、コンテンツ処理部９１は、生成された符号化データ、画像データおよび音声データを、それぞれ識別可能な状態で１つにまとめたフォーマットからなる転送データに格納する。
　ステップＳ１５５において、コンテンツ処理部９１は、符号化データから復号された触覚データ（出力触覚データ）と、画像データおよび音声データとを同期して再生するためのタイムコードを、転送データのメタ情報として埋め込む。
　ステップＳ１５６において、コンテンツ処理部９１は、通信部７２を制御して、転送データを受信装置５２に送信する。
　ステップＳ１７１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、転送データを受信する。転送データは、上述したように、符号化データ、並びに画像データおよび音声データが識別可能な状態で格納されている。
　ステップＳ１７２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信された転送データより符号化データを抽出して、符号化データを触覚データ（出力触覚データ）に復号する。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その処理は、省略する。
　ステップＳ１７３において、コンテンツ処理部１５１は、画像データおよび音声データを読み出し、表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させる。
　ステップＳ１７４において、コンテンツ処理部１５１は、転送データのメタ情報として埋め込まれていたタイムコードを読み出し、タイムコードに基づいて、表示装置５４において再生されている画像データおよび音声データと同期して触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚提示部５３ａのそれぞれを触覚提示させる。
　すなわち、この場合、コンテンツ処理部１５１は、メタ情報として埋め込まれたタイムコードに基づいて、表示装置５４に供給して再生させている画像データおよび音声データと同期して、触覚データ（出力触覚データ）を触覚提示装置５３に供給して触覚提示させている。このため、表示装置５４における画像データおよび音声データの再生タイミングと、触覚データ（出力触覚データ）に基づいた触覚提示部５３ａにおける触覚提示するタイミングとを同期させることが可能となる。結果として、触覚提示部５３ａにおいて触覚提示するタイミングが、画像データおよび音声データが表示装置５４から出力されるタイミングに対して遅延することが防止される。
　以上の処理により、触覚データが符号化データに変換されて、圧縮されて送受信されることにより、触覚データを効率よく送受信することが可能となり、触覚データの送受信に係る通信時間を短縮させることが可能になり、多チャンネルの触覚データの送受信時間の増大によるコンテンツの再生において触覚提示部５３ａによる触覚提示の遅延を防止することが可能となる。
　＜第３の変形例＞
　以上においては、触覚データが符号化された符号化データ、画像データおよび音声データが識別可能な状態でまとめられた転送データに、触覚データと、画像データおよび音声データとを同期させて再生させるためのタイムコードをメタ情報として埋め込ませて、送信装置５１から受信装置５２に送信させ、受信装置５２において、画像データおよび音声データが再生されると共に、メタ情報として埋め込まれたタイムコードに基づいて、符号化データから復元された触覚データ（出力触覚データ）が画像データおよび音声データと同期して再生される例について説明してきた。
　しかしながら、触覚データについては、受信装置５２において復号可能なもののみが符号化データに変換されるようにして、復号不能なものは、生の触覚データをそのまま画像データおよび音声データと併せて、送信装置５１から受信装置５２に送信されるようにしてもよい。
　＜第３の変形例における再生処理＞
　次に、図２１のフローチャートを参照して、第３の変形例におけるコンテンツの再生処理について説明する。尚、図２１におけるステップＳ１９１，１９２，Ｓ１９４，Ｓ１９５，Ｓ１９７，Ｓ２０３乃至Ｓ２０６の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５，Ｓ３２乃至Ｓ３５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１９１，Ｓ１９２において、画像データ、音声データ、および触覚データ（入力触覚データ）が読み出される。
　ステップＳ１９３において、触覚データ処理部１５２は、触覚データ（入力触覚データ）を符号化したとき、受信装置５２において、復号不可能であるか否かを判定する。
　より詳細には、触覚データ処理部１５２は、例えば、触覚データ（入力触覚データ）を触覚データ符号化処理により一旦符号化データに変換し、その後、触覚データ復号処理により触覚データに（出力触覚データ）復号し、復号結果である出力触覚データと入力触覚データとを比較してどの程度類似するのかに基づいて判定するようにしてもよい。
　ステップＳ１９３において、復号不可能ではなく、復号可能であると判定された場合、処理は、ステップＳ１９４に進み、触覚データ符号化処理により触覚データ（入力触覚データ）が符号化データに変換されて、ステップＳ１９５において、画像データおよび音声データに併せて、受信装置５２に送信される。
　一方、ステップＳ１９３において、復号不能であるとみなされた場合、処理は、ステップＳ１９６に進む。
　ステップＳ１９６において、コンテンツ処理部９１は、通信部７２を制御して、生の触覚データ（入力触覚データ）と画像データおよび音声データとを受信装置５２に送信する。
　ステップＳ２０１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、生の触覚データ（入力触覚データ）、または符号化データ、並びに画像データおよび音声データを受信する。
　ステップＳ２０２において、触覚データ処理部１５２は、符号化データが画像データおよび音声データと共に受信されているか否かを判定する。例えば、符号化データが画像データおよび音声データと共に受信されている場合、処理は、ステップＳ２０３に進む。
　そして、ステップＳ２０３により触覚データ復号処理により符号化データを触覚データ（出力触覚データ）に復号して、ステップＳ２０４において、画像データおよび音声データに基づいて表示装置５４より画像および音声が出力され、ステップＳ２０５において、触覚データ（出力触覚データ）に基づいて、触覚提示部５３ａより触覚提示がなされる。
　また、ステップＳ２０２において、符号化データではなく、生の触覚データ（入力触覚データ）が画像データおよび音声データと共に受信されている場合、ステップＳ２０３の処理がスキップされて、ステップＳ２０４において、画像および音声が出力され、ステップＳ２０５において、生の触覚データ（入力触覚データ）に基づいて、触覚提示部５３ａにより触覚提示がなされる。
　すなわち、この場合、コンテンツ処理部１５１は、適切に復号可能な触覚データ（入力触覚データ）についてのみ、符号化データから触覚データ（出力触覚データ）に変換して触覚提示がなされ、復号不可能な触覚データ（入力触覚データ）については、生の触覚データ（入力触覚データ）をそのまま使用して触覚提示するので、触覚データを適切に反映して触覚提示することが可能となる。
　以上の処理により、触覚データが符号化データに変換されて、圧縮されて送受信されることにより、触覚データを効率よく送受信することができるので、触覚データの送受信に係る通信時間を短縮させることが可能になると共に、コンテンツの再生において、多チャンネルの触覚データを送受信するようにしても送受信時間の増大による、触覚提示部５３ａによる触覚提示の遅延を抑制しつつ、適切な触覚提示を実現することが可能となる。
　尚、触覚データ符号化処理、および触覚データ復号処理については、送信装置５１および受信装置５２間の通信において使用可能な通信帯域によって、使う基底触覚信号の数を変更させるようにしてもよい。
　また、受信装置５２において、符号化データの復号結果としての触覚データについては記憶部１３３に記憶しておくようにしてもよい。そして、記憶されている触覚データに類似した触覚データを送信する場合には、送信装置５１からどの触覚データと類似しているのかを特定する触覚データ特定情報だけを送信するようにしてもよい。この場合、受信装置５２においては、記憶部１３３に記憶されている触覚データのうち、触覚データ特定情報に基づいて特定される触覚データを用いるようにしてもよい。
　さらに、触覚データについては、符号化データとして送信する、既に記憶されている触覚データを特定する触覚データ特定情報として送信する、および、生の触覚データをそのまま送信するかのいずれかを通信状況に応じて、リアルタイムで切り替えて送受信するようにしてもよいし、それらを組み合わせるようにしてもよい。
　また、触覚データは、その一部を音声データから自動生成することが可能であるので、自動生成可能な触覚データとの差分のみを触覚データとして送受信するようにしてもよい。
　さらに、送信装置５１、および受信装置５２の処理負荷やバッテリの残量に応じて、触覚データ符号化処理、および触覚データ復号処理が可能であるか否かを判定して、符号化データを送信する場合と、生の触覚データを送信する場合とを切り替えるようにしてもよい。
　また、触覚データを再生させるタイミングを指定するコンテンツ上のタイムスタンプを、基底触覚信号毎に付加し、タイムスタンプに合わせて、触覚提示するようにしてもよい。
　さらに、触覚データは、コンテンツデータに多重化して送受信するようにしてもよいし、コンテンツデータと触覚データとを別データとして伝送するようにしてもよい。
　また、コンテンツデータのヘッダにおいて、触覚データが付加されているか否かや触覚データの形式を示すフラグデータを付加するようにしてもよい。このようにすることで、受信装置５２においては、触覚データの有無や、触覚データの形式を判定することができ、処理を区別して実行することが可能となる。
　以上においては、受信装置５２が、送信装置５１より供給されてくるコンテンツデータに含まれる画像データおよび音声データに基づいて、表示装置５４において画像を表示させると共に音声を出力させ、さらに、触覚データに対応する符号化データに基づいて、触覚提示装置５３の触覚提示部５３ａにより触覚提示させる例について説明してきた。しかしながら、画像データおよび音声データに基づいて表示装置５４に画像を表示させると共に音声を出力させる受信装置と、触覚データに対応する符号化データに基づいて、触覚提示装置５３の触覚提示部５３ａにより触覚提示させる受信装置とをそれぞれ別途設けるようにしてもよい。
　また、送信装置５１とは別に、コンテンツデータにおける触覚データを符号化データに変換する機能を備えた装置を別途設けるようにして、送信装置５１では、触覚データを別途設けられた装置に触覚データを供給し、変換された符号化データを取得するようにしてもよい。
　さらに、受信装置５２とは別に、符号化データを触覚データに復号する機能を備えた装置を設けるようにして、受信装置５５２では、符号化データを別途設けられた装置に供給し、符号化データが復号された触覚データを利用して、触覚提示装置５３の触覚提示部５３ａにより触覚提示させるようにしてもよい。
　＜＜３．第２の実施の形態＞＞
　＜機械学習を用いた触覚データ符号化処理＞
　以上においては、触覚データ（入力触覚データ）に基づいて、触覚信号（入力触覚信号）を周波数分析やパターンマッチングにより基底触覚信号群に分割して、分割情報とし、分割情報に基づいて基底触覚信号毎に設定されるパラメータにより符号化した上で合成し、生成された合成信号を符号化データとして生成して、復号することで触覚データ（出力触覚データ）を復元する例について説明してきた。
　しかしながら、触覚データ（入力触覚データ）を基底触覚信号群に分割して分割情報を生成する処理は、機械学習に基づいて生成された推定器を用いた処理にするようにしてもよい。
　ここで、機械学習を用いた触覚データ符号化処理について説明する。
　機械学習にあたっては、例えば、図２２で示されるように、画像データおよび音声データからなるコンテンツデータ２０１と、対応する触覚信号（入力触覚信号）２０２とが用いられる。尚、ここでいう触覚信号２０２は、コンテンツデータ２０１に対応付けてユーザにより入力される信号である。
　次に、コンテンツデータ２０１の画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データから抽出される聴覚的特徴からなる多次元特徴ベクトルと、音声データから抽出される視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２０３が生成される。
　また、触覚信号（入力触覚信号）２０２が、基底触覚信号群に基づいて分割されることにより分割情報が生成されることで、教師データとなる分割情報２０４が生成される。
　そして、この特徴データ２０３と教師データとなる分割情報２０４とが用いられた機械学習により、コンテンツデータ２０１の特徴データ２０３により分割情報を推定する推定器（図２３の推定器２１３）が生成される。
　推定器（図２３の推定器２１３）は、上述した一連の機械学習により、特徴データ２０３に基づいて、触覚信号（入力触覚信号）に対する分割信号を推定する。
　この結果、図２３で示されるように、機械学習により生成された推定器２１３を用いた触覚データ符号化処理により、コンテンツデータ２１１に含まれる画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データの聴覚的特徴が抽出される多次元特徴ベクトルと、音声データの視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２１２が生成される。
　そして、機械学習により生成された推定器２１３により、特徴データ２１２に基づいて分割情報が推定されて、推定された分割情報における基底触覚信号群の各パラメータに基づいて、符号化データが生成される。
　＜学習装置の構成例＞
　次に、図２４を参照して、コンテンツの特徴データに基づいて、分割情報を推定する図２３の推定器２１３を機械学習により生成する学習装置の構成例について説明する。
　学習装置２３１は、制御部２５１、通信部２５２、記憶部２５３、入力部２５４、出力部２５５、ドライブ２５６、およびリムーバブル記憶媒体２５７より構成されており、相互にバス２５８を介して接続されており、データやプログラムを送受信することができる。
　制御部２５１は、プロセッサやメモリから構成されており、学習装置２３１の動作の全体を制御する。制御部２５１は、推定器２１３を機械学習により学習させる機械学習部２６１を備えている。
　機械学習部２６１は、特徴データ抽出部２７１、および教師データ生成部２７２を備えており、図２２を参照して説明したようにコンテンツデータ２０１と、対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を取得して、例えば、ニューラルネットワークや、ガウシアンミクスチャモデルなどにより推定器２１３を学習させる。
　より詳細には、特徴データ抽出部２７１は、コンテンツデータ２０１の画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データから抽出される聴覚的特徴からなる多次元特徴ベクトルと、音声データから抽出される視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２０３を抽出する。
　教師データ生成部２７２は、入力部２５４を介して入力されるコンテンツデータ２０１に対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を分割し、基底触覚信号群からなる分割情報２０４を生成する。
　機械学習部２６１は、特徴データ２０３と、教師データとしての分割情報２０４とを用いた機械学習により、特徴データ２０３に基づいて分割情報を推定する推定器２１３を生成する。
　通信部２５２は、制御部２５１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、各種のデータやプログラムを送受信する。
　記憶部２５３は、制御部２５１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。
　入力部２５４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部２５１に供給する。
　出力部２５５は、制御部２５１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。
　ドライブ２５６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体２５７に対してデータを読み書きする。
　＜機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例＞
　次に、図２５を参照して、機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例について説明する。
　尚、図２５の送信装置５１の構成において、図８の送信装置５１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図２５の送信装置５１において、図８の送信装置５１と異なる点は、符号化部１０１に代えて符号化部２８１を設けた点である。
　符号化部２８１は、特徴データ抽出部２９１および推定器２９２を備えており、コンテンツデータに含まれる、画像データ、および音声データに基づいて、触覚データの符号化データを生成する。
　より詳細には、特徴データ抽出部２９１は、画像データ、および音声データより特徴データを抽出する。
　推定器２９２は、図２３の推定器２１３に対応する構成であり、上述した機械学習に基づいた学習がなされており、特徴データに基づいて、触覚データ（入力触覚データ）に対応する分割情報を推定する。符号化部２８１は、推定された分割情報の基底触覚信号毎のパラメータに基づいて、触覚データ（入力触覚データ）に対応する符号化データを生成する。
　尚、受信装置５２の構成については、図９における場合と同様であり、再生処理についても、上述した処理と同様であるので、その説明は、省略する。
　＜学習処理＞
　次に、図２５のフローチャートを参照して、図２４の学習装置２３１による学習処理について説明する。
　ステップＳ２１１において、特徴データ抽出部２７１は、入力部２５４を介して入力されるコンテンツデータ２０１の画像データおよび音声データより特徴データ２０３を抽出する。
　ステップＳ２１２において、教師データ生成部２７２は、入力部２５４を介して入力されるコンテンツデータ２０１に対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を分割し、基底触覚信号群からなる分割情報２０４を生成し、教師データとしての分割情報２０４を生成する。
　ステップＳ２１３において、機械学習部２６１は、触覚データを併せた特徴データ２０３と、教師データとしての分割情報２０４とを用いた機械学習により推定器２１３を学習させる。
　以上の処理により、機械学習によりコンテンツデータの画像データおよび音声データより抽出される特徴データに基づいて、触覚信号（入力触覚信号）の分割情報を推定する推定器２１３を学習させることが可能となる。
　＜機械学習を利用した触覚データ符号化処理＞
　次に、図２７を参照して、図２５の送信装置５１による機械学習により生成された推定器２１３（図２５の推定器２９２）を利用した触覚データ符号化処理について説明する。
　ステップＳ２３１において、符号化部２８１の特徴データ抽出部２９１は、コンテンツデータの画像データおよび音声データより、特徴データを抽出する。
　ステップＳ２３２において、推定器２９２は、特徴データに対応する触覚信号（入力触覚信号）の分割情報を推定する。
　ステップＳ２３３において、符号化部２８１は、推定器２９２により推定された分割情報に基づいて、基底触覚信号毎のパラメータを設定する。
　ステップＳ２３４において、符号化部２８１は、基底触覚信号毎のパラメータに基づいて、触覚信号に対応する符号化データを生成する。
　以上の処理により、機械学習により生成された推定器２９２により画像データおよび音声データの特徴データに基づいて、分割情報が推定されて、触覚データ（入力触覚データ）に対応する符号化データが推定されるので、触覚データ（入力触覚データ）をより迅速に符号化データに変換することが可能となる。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。また、以上においては、学習処理および触覚データ符号化処理において、特徴データを、画像データおよび音声データより抽出する例について説明してきたが、画像データおよび音声データに加えて、触覚データ（入力触覚データ）からも抽出するようにしてもよく、さらに、特徴データを増やすことにより、より高精度な推定器の学習が可能となる。
　以上の如く、本開示によれば、いずれにおいても、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、送受信時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。
　＜＜４．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２８は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図２８におけるCPU１００１が、図８，図２５の制御部７１、図９における制御部１３１、および図２４の制御部２５１の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
　前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含む
　情報処理装置。
＜２＞　前記基底触覚信号群を構成する前記基底触覚信号は、相互に直交する触覚信号である
　＜１＞に記載の情報処理装置。
＜３＞　前記触覚提示部は、前記他の情報処理装置において複数に設けられており、前記入力触覚信号は、前記複数の触覚提示部のそれぞれに対応するチャンネル毎に設定される
　＜１＞または＜２＞に記載の情報処理装置。
＜４＞　前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
　＜１＞乃至＜３＞のいずれかに記載の情報処理装置。
＜５＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記送信部は、前記符号化データと共に、前記コンテンツのコンテンツデータを送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜６＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記送信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して前記受信装置に送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜７＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記符号化部は、前記符号化データに、前記コンテンツの再生タイミングを示すインデックスを付与し、
　前記送信部は、前記インデックスが付与された前記符号化データを前記受信装置に送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜８＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記符号化部は、前記符号化データと、前記コンテンツとを１つの転送データにまとめ、前記コンテンツと、前記出力触覚信号とを同期して再生させるためのタイムコードを前記転送データのメタ情報として記録し、
　前記送信部は、前記メタ情報として前記タイムコードが記録された転送データを前記受信装置に送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜９＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記符号化部は、前記入力触覚信号のうち、前記受信装置で復号可能な入力触覚データを前記符号化データに符号化し、
　前記送信部は、前記入力触覚データ、または、前記符号化データを前記受信装置に送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜１０＞　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
　前記符号化部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいた推定により、前記コンテンツから前記分割情報を推定し、前記分割情報に基づいて、前記入力触覚信号を前記符号化データに符号化し、
　前記送信部は、前記符号化データを前記受信装置に送信する
　＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜１１＞　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化処理と、
　前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信処理とを含む
　情報処理方法。
＜１２＞　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
　前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信部と
　してコンピュータを機能させるプログラム。
＜１３＞　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
　受信した前記符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
　を含む
　情報処理装置。
＜１４＞　前記復号部は、前記符号化データのパラメータに基づいて、記憶媒体に予め記憶されている前記基底触覚信号を読み出して合成することで、前記出力触覚信号を復号する
　＜１３＞に記載の情報処理装置。
＜１５＞　前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
　＜１３＞または＜１４＞に記載の情報処理装置。
＜１６＞　前記出力触覚信号は、コンテンツの再生に同期して再生される信号である
　＜１３＞または＜１４＞に記載の情報処理装置。
＜１７＞　前記受信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して受信し、
　前記コンテンツが再生されるとき、前記コンテンツの再生とは、非同期で前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
　＜１６＞に記載の情報処理装置。
＜１８＞　前記受信部は、前記コンテンツの再生タイミングを示すインデックスが付与された前記符号化データを受信し、
　前記コンテンツが再生されるとき、付与された前記インデックスに対応する前記コンテンツが再生されたタイミングで、前記符号化データに対応する前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
　＜１６＞に記載の情報処理装置。
＜１９＞　前記受信部は、前記符号化データおよび前記コンテンツがまとめられ、メタ情報としてタイムコードが記録された転送データを受信し、
　前記コンテンツが再生されるとき、前記転送データのメタ情報として記録されたタイムコードに基づいて、前記コンテンツの再生に同期して前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
　＜１６＞に記載の情報処理装置。
＜２０＞　前記受信部は、前記出力触覚信号、または、前記符号化データを受信し、
　前記受信部が前記出力触覚信号を受信した場合、受信した前記出力触覚信号に基づいて触覚提示がなされ、
　前記受信部が前記符号化データを受信した場合、前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
　前記復号部により復号された前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
　＜１６＞に記載の情報処理装置。
＜２１＞　前記受信部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいて、前記コンテンツから推定された前記分割情報に基づいて符号化された前記符号化データを受信し、
　前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
　前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
　＜１６＞に記載の情報処理装置。
＜２２＞　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信処理と、
　前記受信した符号化データに含まれる複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号処理とを含む
　情報処理方法。
＜２３＞　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
　前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
　してコンピュータを機能させるプログラム。
　４１　コンテンツ再生システム，　５１　送信装置，　５２　受信装置，　５３，５３Ａ乃至５３Ｃ　触覚提示装置，　５３ａ，５３ａ－１乃至５３ａ－１６，５３ａ－２１乃至５３ａ－２４，５３ａ－３１，５３ａ－３２　触覚提示部，　７１　制御部，　９１　コンテンツ処理部，　９２　触覚データ処理部，　１０１　符号化部，　１３１　制御部，　１５１　コンテンツ処理部，　１５２　復号部，　２３１　学習装置，　２５１　制御部，　２７１　特徴データ抽出部，　２７２　教師データ生成部，　２８１　符号化部，　２９１　特徴データ抽出部，　２９２　推定部

Claims (23)

  1. 　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
    　前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含む
    　情報処理装置。
  2. 　前記基底触覚信号群を構成する前記基底触覚信号は、相互に直交する触覚信号である
    　請求項１に記載の情報処理装置。
  3. 　前記触覚提示部は、前記他の情報処理装置において複数に設けられており、前記入力触覚信号は、前記複数の触覚提示部のそれぞれに対応するチャンネル毎に設定される
    　請求項１に記載の情報処理装置。
  4. 　前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    　請求項１に記載の情報処理装置。
  5. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記送信部は、前記符号化データと共に、前記コンテンツのコンテンツデータを送信する
    　請求項１に記載の情報処理装置。
  6. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記送信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して前記受信装置に送信する
    　請求項１に記載の情報処理装置。
  7. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記符号化部は、前記符号化データに、前記コンテンツの再生タイミングを示すインデックスを付与し、
    　前記送信部は、前記インデックスが付与された前記符号化データを前記受信装置に送信する
    　請求項１に記載の情報処理装置。
  8. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記符号化部は、前記符号化データと、前記コンテンツとを１つの転送データにまとめ、前記コンテンツと、前記出力触覚信号とを同期して再生させるためのタイムコードを前記転送データのメタ情報として記録し、
    　前記送信部は、前記メタ情報として前記タイムコードが記録された転送データを前記受信装置に送信する
    　請求項１に記載の情報処理装置。
  9. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記符号化部は、前記入力触覚信号のうち、前記受信装置で復号可能な入力触覚データを前記符号化データに符号化し、
    　前記送信部は、前記入力触覚データ、または、前記符号化データを前記受信装置に送信する
    　請求項１に記載の情報処理装置。
  10. 　前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
    　前記符号化部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいた推定により、前記コンテンツから前記分割情報を推定し、前記分割情報に基づいて、前記入力触覚信号を前記符号化データに符号化し、
    　前記送信部は、前記符号化データを前記受信装置に送信する
    　請求項１に記載の情報処理装置。
  11. 　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化処理と、
    　前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信処理とを含む
    　情報処理方法。
  12. 　入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
    　前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信部と
    　してコンピュータを機能させるプログラム。
  13. 　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
    　受信した前記符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
    　を含む
    　情報処理装置。
  14. 　前記復号部は、前記符号化データのパラメータに基づいて、記憶媒体に予め記憶されている前記基底触覚信号を読み出して合成することで、前記出力触覚信号を復号する
    　請求項１３に記載の情報処理装置。
  15. 　前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    　請求項１３に記載の情報処理装置。
  16. 　前記出力触覚信号は、コンテンツの再生に同期して再生される信号である
    　請求項１３に記載の情報処理装置。
  17. 　前記受信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して受信し、
    　前記コンテンツが再生されるとき、前記コンテンツの再生とは、非同期で前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    　請求項１６に記載の情報処理装置。
  18. 　前記受信部は、前記コンテンツの再生タイミングを示すインデックスが付与された前記符号化データを受信し、
    　前記コンテンツが再生されるとき、付与された前記インデックスに対応する前記コンテンツが再生されたタイミングで、前記符号化データに対応する前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    　請求項１６に記載の情報処理装置。
  19. 　前記受信部は、前記符号化データおよび前記コンテンツがまとめられ、メタ情報としてタイムコードが記録された転送データを受信し、
    　前記コンテンツが再生されるとき、前記転送データのメタ情報として記録されたタイムコードに基づいて、前記コンテンツの再生に同期して前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    　請求項１６に記載の情報処理装置。
  20. 　前記受信部は、前記出力触覚信号、または、前記符号化データを受信し、
    　前記受信部が前記出力触覚信号を受信した場合、受信した前記出力触覚信号に基づいて触覚提示がなされ、
    　前記受信部が前記符号化データを受信した場合、前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
    　前記復号部により復号された前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    　請求項１６に記載の情報処理装置。
  21. 　前記受信部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいて、前記コンテンツから推定された前記分割情報に基づいて符号化された前記符号化データを受信し、
    　前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
    　前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    　請求項１６に記載の情報処理装置。
  22. 　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信処理と、
    　前記受信した符号化データに含まれる複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号処理とを含む
    　情報処理方法。
  23. 　入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
    　前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
    　してコンピュータを機能させるプログラム。
PCT/JP2019/022259 2018-06-18 2019-06-05 情報処理装置、および情報処理方法、並びにプログラム WO2019244625A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020207034694A KR20210020003A (ko) 2018-06-18 2019-06-05 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
EP19823576.4A EP3809240A4 (en) 2018-06-18 2019-06-05 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US17/052,623 US11462084B2 (en) 2018-06-18 2019-06-05 Information processing apparatus, information processing method, and program
CN201980038960.8A CN112292654B (zh) 2018-06-18 2019-06-05 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-115154 2018-06-18
JP2018115154A JP7155643B2 (ja) 2018-06-18 2018-06-18 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2019244625A1 true WO2019244625A1 (ja) 2019-12-26

Family

ID=68983383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022259 WO2019244625A1 (ja) 2018-06-18 2019-06-05 情報処理装置、および情報処理方法、並びにプログラム

Country Status (6)

Country Link
US (1) US11462084B2 (ja)
EP (1) EP3809240A4 (ja)
JP (1) JP7155643B2 (ja)
KR (1) KR20210020003A (ja)
CN (1) CN112292654B (ja)
WO (1) WO2019244625A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220515A1 (ja) * 2020-05-01 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168547A1 (ja) * 2021-02-08 2022-08-11 ソニーグループ株式会社 触覚刺激を与える制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
JP2014182816A (ja) * 2013-03-15 2014-09-29 Immersion Corp マルチメディアファイル内の触覚情報を符号化及び復号化する方法及び装置
JP2017531930A (ja) * 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
JP2018045270A (ja) 2016-09-12 2018-03-22 ソニー株式会社 通信装置および方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080120029A1 (en) * 2006-02-16 2008-05-22 Zelek John S Wearable tactile navigation system
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
CN104123947B (zh) * 2013-04-27 2017-05-31 中国科学院声学研究所 基于带限正交分量的声音编码方法和系统
US9786201B2 (en) * 2014-05-16 2017-10-10 Not Impossible LLC Wearable sound
AU2014210579B2 (en) * 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US20200153602A1 (en) * 2019-12-27 2020-05-14 Satyajit Siddharay Kamat System for syncrhonizing haptic actuators with displayed content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
JP2014182816A (ja) * 2013-03-15 2014-09-29 Immersion Corp マルチメディアファイル内の触覚情報を符号化及び復号化する方法及び装置
JP2017531930A (ja) * 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
JP2018045270A (ja) 2016-09-12 2018-03-22 ソニー株式会社 通信装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3809240A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220515A1 (ja) * 2020-05-01 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019219785A (ja) 2019-12-26
CN112292654B (zh) 2024-05-10
US20210241586A1 (en) 2021-08-05
US11462084B2 (en) 2022-10-04
CN112292654A (zh) 2021-01-29
JP7155643B2 (ja) 2022-10-19
EP3809240A4 (en) 2021-08-04
KR20210020003A (ko) 2021-02-23
EP3809240A1 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
EP1416769B1 (en) Object-based three-dimensional audio system and method of controlling the same
EP3495941A1 (en) Offline haptic conversion system
WO2017154894A1 (ja) 装置、プログラム及び情報処理方法
CN109410912B (zh) 音频处理的方法、装置、电子设备及计算机可读存储介质
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects
WO2019244625A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN110447071B (zh) 信息处理装置、信息处理方法和记录程序的可拆卸介质
WO2017119320A1 (ja) 音声処理装置および方法、並びにプログラム
WO2019069710A1 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
EP3361476B1 (en) Signal processing device, signal processing method, and computer program
JP6843409B1 (ja) 学習方法、コンテンツ再生装置、及びコンテンツ再生システム
US20210243485A1 (en) Receiving apparatus, transmission apparatus, receiving method, transmission method, and program
JPWO2020003728A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
WO2019111340A1 (ja) 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法
US20220092952A1 (en) Decoding device, decoding method, and program
US20150373472A1 (en) Data processing device and data processing program
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
WO2023199818A1 (ja) 音響信号処理装置、音響信号処理方法、及び、プログラム
GB2610591A (en) Apparatus, systems and methods for haptics
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2018105254A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117708492A (zh) 振动控制方法、装置、电子设备和计算机可读存储介质
KR20240107407A (ko) 상호적인 가상 현실 공연을 위한 실시간 중계 시스템 및 이를 이용하는 방법
JP2018186386A (ja) 環境音合成システム、その方法、及びプログラム
WO2013151087A1 (ja) データ処理装置及びデータ処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019823576

Country of ref document: EP

Effective date: 20210118