WO2019013055A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019013055A1
WO2019013055A1 PCT/JP2018/025275 JP2018025275W WO2019013055A1 WO 2019013055 A1 WO2019013055 A1 WO 2019013055A1 JP 2018025275 W JP2018025275 W JP 2018025275W WO 2019013055 A1 WO2019013055 A1 WO 2019013055A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
sense
sound
information processing
data
Prior art date
Application number
PCT/JP2018/025275
Other languages
English (en)
French (fr)
Inventor
諒 横山
伊藤　鎮
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880045075.8A priority Critical patent/CN110892734B/zh
Priority to JP2019529075A priority patent/JP7140120B2/ja
Priority to PCT/JP2018/025275 priority patent/WO2019013055A1/ja
Priority to EP18831773.9A priority patent/EP3654665A4/en
Priority to US16/628,082 priority patent/US11228855B2/en
Publication of WO2019013055A1 publication Critical patent/WO2019013055A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
    • A63J2005/003—Tactile sense
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023—Transducers incorporated in garment, rucksacks or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the sound output from the sound presentation unit may be presented to the user along with various senses such as tactile stimulation.
  • various senses such as tactile stimulation.
  • both the sound outputted from the sound presentation unit and the tactile stimulus outputted from the sense presentation unit (wear-type device equipped with an actuator etc.) worn by the user are And the like.
  • presentation of sensations such as tactile stimulation is not performed taking into consideration the delay generated before the sound output from the sound presentation unit is perceived by the user. The Therefore, there is a gap between the timing when the sound is perceived by the user and the timing when the sense such as tactile stimulation is perceived by the user.
  • the first user is worn based on the difference between the first timing at which a sound is output from the sound presentation unit and the second timing at which the first user perceives the sound.
  • an information processing apparatus comprising: a generation unit configured to generate first data used to present a sense to the first user by the sense presentation unit.
  • a computer-implemented information processing method comprising generating first data used for presentation of a sense to the first user by a sense presentation unit mounted.
  • a program is provided for causing a computer to generate first data to be used for presenting a sense to the first user by a sense presentation unit attached.
  • FIG. 6 is a block diagram showing an example of a functional configuration of the information processing device 200.
  • FIG. It is a block diagram showing an example of functional composition of sense presentation device 100. As shown in FIG. It is a flowchart which shows the example of the flow of adjustment processing of the presentation timing of the sense based on acoustic delay amount. It is a figure explaining the aspect of the progress notification function. It is a figure explaining the aspect of the progress notification function. It is a figure explaining the aspect of the progress notification function. It is a figure explaining the aspect of the progress notification function. It is a figure explaining the aspect of the progress notification function. It is a figure explaining the aspect of the progress notification function. It is a flowchart which shows the example of the flow of a progress notification process. It is a figure explaining the sense presentation notification function by light. It is a flowchart which shows the example of the flow of the sense presentation notification process by light.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing apparatus 200.
  • An information processing system presents various senses to a user. More specifically, as shown in FIG. 1, the information processing system includes the sense presentation device 100 worn by the user, and presents various senses to the user via the sense presentation device 100. Do.
  • the sensation presentation device 100 internally includes a plurality of haptic data presentation units 121 (in the figure, haptic data presentation units 121 a to haptic data presentation units 121 h).
  • a plurality for example, six as shown in FIG. 1 (six haptic data presentation units 121a to 121f)
  • a plurality for example, As shown in FIG. 1, one for each shoulder (tactile data presentation unit 121g and haptic data presentation unit 121h), and a plurality on the back side (not shown; for example, six like the front side) tactile data
  • the presentation unit 121 may be arranged.
  • each tactile data presentation unit 121 has a positional relationship in which each tactile data presentation unit 121 disposed on the front side faces an individual tactile data presentation unit 121 disposed on the back side. It can be arranged.
  • the sensory presentation device 100 includes one or more haptic data presentation units 121, and presents various tactile stimuli to the user by controlling the size and timing of these outputs, or the combination of the haptic data presentation units 121 to be output.
  • the sense presentation device 100 can present a sense that the user is disconnected, a sense that the user hits some object, a sense that the user is pressed down, and the like.
  • FIG. 1 shows an example in which the sense presentation device 100 is a sleeveless dress (vest), the present invention is not limited to such an example, and the sense presentation device 100 also has sleeves and pants, and thus, various parts of the body. You may be able to present your senses.
  • the number of tactile data presentation units 121 provided in the sensory presentation device 100 is not particularly limited.
  • the sensation presentation device 100 may include an acoustic data presentation unit 131 (in the figure, an acoustic data presentation unit 131 a and an acoustic data presentation unit 131 b) for presenting a sound.
  • an acoustic data presentation unit 131 in the figure, an acoustic data presentation unit 131 a and an acoustic data presentation unit 131 b
  • a plurality of acoustic data presentation units 131 for example, one on each shoulder as shown in FIG. 2 may be disposed on the shoulders of the user.
  • the sensation presentation device 100 includes one or more acoustic data presentation units 131, and various acoustic effects can be presented to the user by controlling the size and timing of these outputs.
  • the sense presentation device 100 can localize a sound image in space, or an effect sound only to the user in a situation where BGM is presented from another speaker (for example, an effect sound when the user is disconnected, It is possible to present a sound effect or the like when the user hits an object.
  • the number in particular of the acoustic data presentation parts 131 with which the sense presentation device 100 is equipped is not limited.
  • the senses presented to the user by the sense presentation device 100 are presented by the sense of touch (tactile stimulation presented by the sense of haptic data presentation unit 121) or the sense of hearing (acoustic data presenter 131). Sound is included, but the feeling presented to the user is not limited to these.
  • the sensory presentation device 100 may be equipped with a mechanism capable of presenting vision, smell or taste.
  • the sense presentation device 100 may be able to present vision (video) as in a transmissive head mounted display etc., may be able to present olfactory sense as in a fragrance presentation device etc, A taste (taste) may be presented as in a presentation device.
  • the information processing system according to the present disclosure includes, for example, indoors (for example, theaters, movie theaters, concert halls, live houses, indoor play facilities in theme parks, etc.), outdoors (for example, theaters provided with stages outdoors), It is a system that can be used regardless of the concert hall, the live hall, the movie screening hall where the screen is provided outdoors, or the outdoor play facility in the theme park.
  • the information processing system according to the present disclosure includes the sense presentation device 100, the information processing apparatus 200, the controller 260, the audio IF 270, the amplifier 280, the front speaker 290, and the projector 300.
  • a screen 310, a light 320, a smoke generator 330, and a wind generator 340 (note that the information processing system shown in FIG. 3 is assumed to be used indoors).
  • the information processing device 200 is a device that controls the entire information processing system in an integrated manner. More specifically, the information processing apparatus 200 can be a sense presented to the user via the sense presentation device 100, an image projected on the screen 310, a sound emitted from the front speaker 290, a light emitted from the light 320, It controls the smoke emitted from the smoke generator 330, the wind emitted from the wind generator 340, and the like. The functions of the information processing apparatus 200 will be described in detail later.
  • the controller 260 is a device used when the operator performs an input to the information processing device 200.
  • the audio IF 270 is a device that functions as an interface of acoustic data used to present sound via the sensory presentation device 100.
  • the amplifier 280 is a device that performs amplification, adjustment, switching of input, and the like of sound data input to the audio IF 270.
  • the front speaker 290 is for all users. Devices that present sound.
  • the projector 300 is a device that projects an image on the screen 310, and the screen 310 is a surface (for example, a flat surface or a curved surface) on which the image is projected.
  • the light 320 is a device that presents light, the smoke generator 330 presents smoke, and the wind generator 340 presents wind.
  • the separation distance between the front speaker 290 and the user increases, the acoustic delay generated until the user perceives the sound output from the front speaker 290 increases. Therefore, when the presentation of the sound by the front speaker 290 and the presentation of the sense from the sense presentation device 100 are performed at substantially the same timing, the timing at which the user perceives the sound is later than the timing at which the sense is perceived. Become.
  • the velocity of sound is approximately 340 m / s. Then, an acoustic delay of approximately 50 ms occurs.
  • the magnitude of the acoustic delay (hereinafter, also referred to as “the amount of acoustic delay”) may differ depending on each user.
  • the tactile sense data presentation unit 121 since the tactile stimulus presented by the tactile sense data presentation unit 121 does not propagate the medium such as air unlike the sound (in FIG. 4B, the tactile sense data presentation unit 121 is in close contact with the user's body). State is shown), there is almost no delay from being presented to being perceived by the user. Even when the sense presentation device 100 can present senses other than tactile sense, almost no delay occurs except for devices that present sound and odor using air as a medium, such as the acoustic data presentation unit 131 and fragrance presentation device, etc. It can be said. In addition, when the sound data presentation unit 131, the fragrance presentation device, and the like are disposed extremely close to the user's ear or nose, they may be treated as having no delay.
  • the timing at which the user can perceive the sound presented from the front speaker 290 is delayed compared to the timing at which the sense is perceived by the user.
  • B in FIG. 5 indicates that an acoustic delay of about 0.6 ms occurs before the user perceives the sound presented from the acoustic data presentation unit 131, and the acoustic delay is indicated.
  • the acoustic delay amount of the sound presented from the front speaker 290 is considerably larger than the acoustic delay amount of the sound presented from the acoustic data presentation unit 131.
  • the information processing apparatus 200 is a difference between a first timing at which a sound is output from the sound presentation unit (front speaker 290) and a second timing at which a first user (audience) perceives a sound ( Based on the acoustic delay amount, the first data to be used for presenting the sense to the first user by the sense presentation unit (the sense presentation device 100) worn by the first user is generated.
  • the information processing apparatus 200 presents a sense to the first user at the third timing determined based on the difference (the amount of acoustic delay) between the first timing and the second timing.
  • the information processing apparatus 200 presents a sense to the first user at substantially the same timing as the second timing at which the first user perceives a sound (in other words, in this case, the third timing is It is almost the same as the second timing).
  • the first user can perceive the sound and sense presented from the front speaker 290 at substantially the same timing, so that the first user is less likely to feel discomfort.
  • the third timing may not be substantially the same as the second timing at which the first user perceives a sound.
  • the information processing apparatus 200 may intentionally shift the second timing at which the first user perceives the sound and the third timing at which the sense is perceived.
  • the information processing apparatus 200 can flexibly control the third timing at which the first user perceives a sense with respect to the second timing at which the first user perceives a sound.
  • the information processing apparatus 200 acquires, as a first timing, a timing at which the front speaker 290 outputs a sound.
  • the first timing may be embedded in the content in advance (may be programmed), may be determined by an input by the operator via the controller 260, or the operation of the performer is sensed It may be determined by
  • the timing at which the sound output from the front speaker 290 is detected by the sound collection unit 170 (sound detection unit) attached near the user's (first user) ear is Acquire as timing.
  • the detection timing by the sound collecting unit 170 may be treated as the second timing as described above, and the sound collecting unit 170 may be an ear hole. If the information processing apparatus 200 is separated by a considerable distance (approximately several tens of cm), the information processing apparatus 200 may calculate the second timing in consideration of the separation distance.
  • the information processing device 200 calculates the difference (the amount of acoustic delay) between the first timing and the second timing. Then, basically, the information processing apparatus 200 delays the feeling that was intended to be presented at the same time as the first timing when the sound is output by the front speaker 290, basically, by the acoustic delay amount from the first timing ( In other words, it is presented at substantially the same timing as the second timing. Note that the description “the sense intended to be presented at the same time as the first timing” is merely an example, and the presentation timing of the sense may not necessarily be scheduled in advance.
  • the acoustic delay amount for each user may be changed. For example, by moving at least one of the user and the front speaker 290, the amount of acoustic delay for each user may be changed. If the amount of acoustic delay for each user does not change, the information processing apparatus 200 realizes the above function by measuring the amount of acoustic delay for each seat in advance (for example, before opening). can do. On the other hand, when the amount of acoustic delay for each user changes, the information processing apparatus 200 may realize the above function by measuring the amount of acoustic delay whenever necessary or whenever the user or the front speaker 290 moves. it can.
  • time code in FIG. 6 is a time interval used to manage content provided to the user, and refers to, for example, one in which one second is divided into 24 (but not limited to this).
  • a of FIG. 6 is an example in the case where it pre-programmeds so that all imaging
  • the information processing apparatus 200 measures the acoustic delay amount for each seat once in advance and reflects the acoustic delay amount on the content, which corresponds to the example of FIG. Since all perceived timings of the video, sound, and tactile stimulation are substantially the same, the user can watch (view) the video with almost no discomfort.
  • B of FIG. 6 is an example of a case where an image is perceived first and then preprogrammed so that sound and tactile stimulation are perceived at substantially the same timing.
  • image is presented in FIG. 6
  • the performer's action is performed at the same timing as the sound and the tactile stimulation. Even if not, if the sound and the tactile stimulus are perceived at substantially the same timing as shown in B of FIG.
  • C of FIG. 6 is an example in the case where the information processing apparatus 200 controls the timing of presenting a tactile stimulation based on the amount of acoustic delay. For example, each time the information processing apparatus 200 presents a haptic stimulus, for example, when the amount of acoustic delay changes due to movement of the user or the front speaker 290, or when the amount of acoustic delay can not be reflected in the content in advance.
  • the case where the timing is controlled corresponds to the example of C in FIG.
  • the timing at which the user perceives sounds and sensations is controlled (in particular, adjusted to be substantially identical).
  • the timing at which the video is perceived by the user may also be controlled (for example, the video may be controlled to be perceived at substantially the same timing as the sound and sense as shown in A of FIG. 6).
  • the information processing apparatus 200 controls the presentation timing of video, sound, and sensation for each user. You may
  • the information processing apparatus 200 basically delays the sense that was intended to be presented simultaneously with the first timing when the sound is output by the front speaker 290 from the first timing by the acoustic delay amount. (In other words, the timing is substantially the same as the second timing).
  • FIG. 7 shows a variation of a mode in which the presentation of sound by the acoustic data presentation unit 131 is delayed by the acoustic delay amount.
  • sound data (first data) in which the information processing apparatus 200 assigns a separate audio channel for each user, and a silent section corresponding to the amount of sound delay is inserted at the head How to generate) is shown. Then, the sound data is provided to the sense presentation device 100 via the audio IF 270 and the amplifier 280, whereby the presentation timing of the sound by the sound data presentation unit 131 is controlled for each user (in other words, the sense presentation is Done per first user).
  • the information processing apparatus 200 may generate the above-described acoustic data for each group of the users (in other words, presentation of sensation is It may be performed for each group of first users). In this manner, the information processing apparatus 200 generates the sound data provided to each user in an integrated manner, thereby making it possible to simplify the functions of other apparatuses (such as the amplifier 280 and the sense presentation device 100). Therefore, the implementation cost of the entire information processing system can be reduced.
  • the information processing apparatus 200 assigns the same audio channel to all users, and further, the amplifier 280 corresponding to each user is provided with a delay circuit, and then the information processing apparatus 200 performs each delay circuit.
  • the method of setting the delay amount of to different values is shown.
  • the information processing device 200 controls each delay amount by changing the parameter of the delay circuit.
  • the information processing apparatus 200 may control the delay amount of the delay circuit for each group of users.
  • the information processing apparatus 200 assigns the same audio channel to all the users, and further, a delay circuit is provided in the sensation presentation device 100 worn by each user, and then the information processing apparatus 200 A method of setting the delay amount of the delay circuit to different values is shown.
  • the information processing device 200 controls each delay amount by changing the parameter of the delay circuit.
  • the information processing apparatus 200 may control the delay amount of the delay circuit for each group of users.
  • B in FIG. 7 can correspond to acoustic delay more flexibly than A and C than B and A.
  • the presentation timing of sensation can be controlled based on the amount of acoustic delay immediately before presentation of the sensation.
  • the most preferable aspect in the experience of the user is C in FIG.
  • the presentation timing may be delayed by the information processing device 200, a device to be relayed (for example, a device corresponding to the amplifier 280), or the sensory presentation device 100 or the like.
  • the information processing apparatus 200 generates the first data used to present the sense to the user based on the acoustic delay amount.
  • the aspect of B and C in FIG. 7 (or other than FIG. 7) It should be noted that even in the above, it can be said that “the information processing apparatus 200 generates the first data used to present the sense to the user based on the acoustic delay amount”.
  • the information processing apparatus 200 controls the delay amount by changing the parameters of the delay circuit provided in the amplifier 280 and the sense presentation device 100, and controls the delay of the first data (for example, acoustic data). It can be said that controlling the amount is equivalent to “the information processing device 200 generates the first data used to present the sense to the user based on the amount of acoustic delay”.
  • each functional configuration of the information processing apparatus 200 described later does not have to be necessarily included in the information processing apparatus 200, and is included in another apparatus (for example, the amplifier 280 and the sense presentation device 100).
  • the apparatus 200 is equivalent to “generating first data used to present the sense to the user based on the acoustic delay amount”.
  • the control unit 210 is a functional configuration that comprehensively controls each functional configuration of the information processing apparatus 200.
  • the control unit 210 controls starting and stopping of each functional configuration based on an input from the controller 260 and a predetermined progress content, or the content of a sense presented to the user by the sense presentation device 100, etc. (For example, the content and timing and intensity of tactile stimulation presented by the tactile data presentation unit 121, the content and timing and volume of sound presented by the acoustic data presentation unit 131, etc.) can be specified.
  • the control unit 210 can also control devices other than the information processing device 200 in the information processing system by generating various control signals.
  • control unit 210 can change the parameters of each device, the control unit 210 is provided in the amplifier 280 or the sensation presentation device 100, for example, when presentation of sensation is performed according to the mode of FIG.
  • the delay amount of the delay circuit can be changed.
  • control content of the control part 210 is not limited to these.
  • control part 210 may realize processing (for example, processing of OS (Operating System) etc.) generally performed in a general purpose computer, a PC (Personal Computer), a tablet PC, a smartphone or the like.
  • the control unit 210 includes a delay measurement unit 211.
  • the delay measurement unit 211 acquires, as a second timing, the timing at which the sound output from the front speaker 290 is detected by the sound collection unit 170 provided near the user's ear. For example, the delay measurement unit 211 acquires the second timing from each sense presentation device 100 via the communication unit 230.
  • the acoustic data generation unit 222 first determines whether the amount of acoustic delay is equal to or greater than a predetermined threshold value.
  • prescribed threshold value is not specifically limited, For example, a predetermined
  • the illumination data generation unit 223 is a functional configuration that generates illumination data used to present light (illumination) by the light 320 based on control by the control unit 210.
  • the illumination data generation unit 223 provides the light 320 with data generated via a predetermined network.
  • the illumination data generation unit 223 can realize a function of emitting light to the user at the timing when the sense is presented to each user. Details of the function will be described later.
  • the communication unit 230 is a functional configuration that communicates with an external device. For example, when the operator of the information processing apparatus 200 performs input using the controller 260, the communication unit 230 receives input data from the controller 260 and provides the input data to the control unit 210. Implement reflection of input. Further, the communication unit 230 transmits tactile sense, sound, video, illumination, smoke, and the like by transmitting data (including tactile data, acoustic data, and the like) generated by the generation unit 220 to a predetermined external device. Realize the presentation of wind and so on. The data communicated by the communication unit 230 is not limited to these.
  • the communication unit 230 may receive data on the second timing at which the sound output from the front speaker 290 is detected by the sound collection unit 170 from the sense presentation device 100, or the amplifier 280 or the sense presentation device 100.
  • the data on the parameters for changing the delay amount of the delay circuit provided in may be transmitted to these devices.
  • the type of communication method and communication line used for communication between the communication unit 230 and each external device is not particularly limited.
  • the communication unit 230 may perform wired communication with each external device or may perform wireless communication.
  • the display unit 240 is a functional configuration that displays a setting screen or the like used for input by the operator.
  • the display unit 240 is, for example, a liquid crystal display (LCD: Liquid Crystal). It may be a display device such as a Display) or an organic EL (Electro Luminescence) display.
  • LCD liquid crystal display
  • OLED Organic EL
  • the type and display content of the display unit 240 are not limited to these.
  • the storage unit 250 is a functional configuration that stores various data.
  • the storage unit 250 stores programs and parameters used by each functional configuration of the information processing apparatus 200, data generated by each functional configuration, and the like (for example, tactile data, acoustic data, or illumination data).
  • the contents of the data stored in the storage unit 250 are not limited to these.
  • the controller 260 is a device that receives input by the operator and provides input data to the information processing device 200.
  • the controller 260 can receive input from the operator by providing various input mechanisms such as a keyboard, a mouse, a button, a switch, a lever, a touch sensor, a pressure sensor, or a proximity sensor.
  • the types of input mechanisms provided in the controller 260 are not limited to these. Further, the controller 260 may not be provided as an external device of the information processing device 200 but may be provided in the information processing device 200.
  • the sensation presentation device 100 includes a control unit 110, a tactile sense presentation unit 120, a sound presentation unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160, and the communication unit It is connected to an external sound collecting unit 170 (in this figure, the sound collecting unit 170 a and the sound collecting unit 170 b) via 140.
  • the control unit 110 is a functional configuration that controls each functional configuration of the sense presentation device 100 in an integrated manner. For example, the control unit 110 controls start and stop of each functional configuration based on various data (for example, including tactile data, acoustic data, other control signals, and the like) provided from the information processing apparatus 200. In addition, the control unit 110 provides the data processing unit 200 with data regarding the second timing at which the sound output from the front speaker 290 is detected by the sound collection unit 170 via the communication unit 140. In addition, the control content of the control part 110 is not limited to these. For example, control part 110 may realize processing (for example, processing of OS etc.) generally performed in a general purpose computer, a PC, a tablet PC or a smartphone. Further, as shown in FIG. 9, the control unit 110 includes a haptic data processing unit 111 and an acoustic data processing unit 112.
  • the haptic data processing unit 111 may be provided with the above-described delay circuit. Then, the haptic data processing unit 111 may change the delay amount by applying the parameter provided from the information processing device 200 to the delay circuit.
  • the acoustic data processing unit 112 uses the acoustic data provided from the information processing device 200 to perform processing relating to the presentation of sound by the acoustic data presentation unit 131.
  • the sound data processing unit 112 sets individual settings of the sensation presentation device 100 (for example, setting of the sensation presentation device 100 uniquely performed by the user (for example, setting of volume, setting of ON / OFF of function, etc.))
  • sound data provided from the information processing device 200 may be edited, and sound data may be presented by providing the sound data after editing to the sound data presentation unit 131.
  • the acoustic data processing unit 112 may be provided with the above-described delay circuit. Then, the acoustic data processing unit 112 may change the delay amount by applying the parameter provided from the information processing device 200 to the delay circuit.
  • the haptic presentation unit 120 includes one or more haptic data presentation units 121, and is a functional configuration that presents haptic stimuli to the user using the haptic data presentation units 121.
  • the haptic data presentation unit 121 is a functional configuration that presents haptic stimulation to the user using haptic data provided from the haptic data processing unit 111.
  • the haptic data presentation unit 121 may be an actuator (for example, ERM (eccentric motor), LRA (linear resonance actuator), VCM (voice coil motor), etc.) that presents vibration, or presents a sense of force. It may be an electrical element that does not have to be used, or it may be a temperature change element (for example, a Peltier element or the like) that presents a thermal sensation.
  • actuator for example, ERM (eccentric motor), LRA (linear resonance actuator), VCM (voice coil motor), etc.
  • It may be an electrical element that does not have to be used, or it may be a temperature change element (for example, a Peltier element or the like) that presents a thermal sensation.
  • "tactile stimulation” may include vibration, force sense, or thermal sensation.
  • the tactile sense stimulus which the tactile sense data presentation part 121 presents is not limited to these.
  • channels may be assigned to each haptic data presentation unit 121 (in the figure, at least haptic data presentation unit 121a to haptic data presentation unit 121c), and different haptic stimuli may be presented for each channel.
  • the sound presentation unit 130 has at least one or more acoustic data presentation units 131, and is a functional configuration that presents sounds to the user using the acoustic data presentation unit 131.
  • the acoustic data presentation unit 131 is a functional configuration that presents a sound to the user using the acoustic data provided from the acoustic data processing unit 112.
  • the sound data presentation unit 131 may have a speaker that reproduces sound data, an amplifier circuit for the speaker, and the like.
  • a plurality of acoustic data presentation units 131 (in the figure, at least acoustic data presentation units 131a to 131c) are provided, and the output of each acoustic data presentation unit 131 is adjusted to realize localization of a sound image. It may be done.
  • the sound image may be localized by cooperation between the sound data presentation unit 131 and a speaker (for example, a speaker provided in a seat) provided in the surroundings.
  • a speaker for example, a speaker provided in a seat
  • a channel may be assigned to each sound data presentation unit 131, and different sounds may be presented for each channel.
  • the communication unit 140 is a functional configuration that communicates with an external device. For example, when the sound collection unit 170 (in the drawing, the sound collection unit 170a and the sound collection unit 170b) detects a sound output from the front speaker 290, the communication unit 140 communicates with the sound collection unit 170. , Data regarding the second timing at which the sound is detected, and transmits the data to the information processing apparatus 200. Further, the communication unit 140 receives various data (for example, including haptic data, acoustic data, and other control signals) generated by the information processing apparatus 200. The data communicated by the communication unit 140 is not limited to these.
  • the communication unit 140 may receive, from the information processing apparatus 200, data relating to parameters for changing the delay amount of the delay circuit provided in the sense presentation device 100.
  • the type of communication method and communication line used for communication between the communication unit 140 and the external device is not particularly limited.
  • the communication unit 140 may perform wired communication with an external device or may perform wireless communication.
  • the sensor unit 150 includes various sensors, and is a functional configuration that acquires sensor data generated by these sensors.
  • the sensor unit 150 includes a position sensor (for example, a sensor that can be used to locate the user, such as a Global Navigation Satellite System (GNSS) receiver, a proximity sensor, etc.), and is used to locate the user.
  • Sensor data may be acquired.
  • the type of sensor provided in the sensor unit 150 is not particularly limited.
  • the sensor unit 150 may include various sensors such as a posture sensor (gyro sensor or acceleration sensor), a temperature sensor, or a pressure sensor.
  • step S1008 the haptic data generation unit 221 determines whether the acoustic delay amount is equal to or more than a predetermined threshold. If the amount of acoustic delay is equal to or greater than the predetermined threshold (Yes at Step S1008), at Step S1012, the haptic data generation unit 221 adjusts the timing at which haptic stimulation is presented by using haptic data. More specifically, the haptic data generation unit 221 generates haptic data in which a blank section (a section in which no haptic stimulation is presented) is inserted at the beginning, or generates timing itself. A series of processing ends by adjusting (programming) the presentation timing of the tactile stimulation by delaying by the acoustic delay amount or the like. If the acoustic delay amount is smaller than the predetermined threshold (step S1008 / No), the process ends without adjusting the timing at which the tactile stimulus is presented. Thereafter, the content adjusted (programmed) by the above process is provided to the user.
  • the sense presentation device 100 can present the sense (tactile stimulation in the example of FIG. 10) to the user at substantially the same timing as the sound from the front speaker 290 is perceived by the user.
  • the user can be prevented from feeling discomfort.
  • the notification is performed at substantially the same timing as the timing (third timing) at which the user is presented with the sense
  • the present invention is not limited to this.
  • the notification may be performed slightly earlier than the third timing in consideration of the time required for the performer to perceive the tactile stimulus and to actually perform the action.
  • the “second user” to whom the notification is given is not limited to the performer, but may include all users who provide content (eg, director, stage staff, etc.).
  • the performer performs in accordance with the BGM and the sound effects output from the front speaker 290. Even if the BGM and the sound effects do not flow, the present disclosure is applied even if the BGM and the sound effects do not flow. It can be said that applying the present disclosure is useful, since it is possible to recognize the timing at which is presented. In addition, even in situations where BGM or sound effects flow, the timing at which the performer perceives BGM etc. and the timing at which each user perceives BGM etc differ depending on the acoustic delay, so that application of the present disclosure remains unchanged. It can be said.
  • the performer can perform appropriately if it can recognize only the timing at which the sense was presented to the user (for example, the start timing and the end timing of the presentation of the tactile stimulus) (for example, appropriate) Can change the content of acting). Therefore, it is considered that it is sufficient for the tactile data presentation unit 121 to present tactile stimuli to the performer using the progress notification data integrated into one channel.
  • the timing at which the sense was presented to the user for example, the start timing and the end timing of the presentation of the tactile stimulus
  • the tactile data presentation unit 121 to present tactile stimuli to the performer using the progress notification data integrated into one channel.
  • the above is merely an example, and the number of channels of the progress notification data is not particularly limited.
  • the tactile sense data generation unit 221 is a tactile sense used when tactile stimulation is continuously presented for a certain period of time.
  • the waveform at the beginning of the data (hereinafter sometimes referred to as “impulse”) may be extracted and reflected in the progress notification data.
  • the haptic data generation unit 221 may cause the performer to recognize the end timing of the presentation of the haptic stimulation by extracting the waveform of the end portion of the haptic data and reflecting the waveform on the progress notification data.
  • the method of extracting impulses is not particularly limited. More specifically, the haptic data generation unit 221 may extract an impulse using an arbitrary waveform data analysis method (for example, a method of extracting waveform data of a portion exceeding a predetermined threshold in a predetermined section). it can.
  • the information processing device 200 may notify the performer of the progress using a device other than the sense presentation device 100a.
  • the information processing apparatus 200 may perform the progress notification by outputting a sound from the directional speaker to the performer. .
  • the acoustic data generation unit 222 of the information processing device 200 uses tactile data of the tactile data used by the tactile data presentation units 121 of the sensory presentation device 100 b worn by the user.
  • the progress notification data may be generated by changing the frequency (for example, about 50 [Hz] to 200 [Hz]) to a frequency in the audible area (for example, about 200 [Hz] to about 20000 [Hz]). Thereafter, the information processing apparatus 200 causes the directional speaker to output sound by providing the progress notification data to the directional speaker.
  • the progress notification data is provided to the light, so that the lighting time of the light source of the light (for example, an LED light source or the like) is appropriately controlled, and the intensity of the tactile stimulation is reflected on the light intensity.
  • a display capable of displaying an image or the like may be used for progress notification.
  • the display may display the content of the sensation presented to the user and the timing of the presentation (e.g., the number of seconds until presentation).
  • the sense presented to the user is not limited to anything other than the tactile stimulation.
  • the information processing apparatus 200 uses various devices other than the sense presentation device 100a, such as directional speakers and lights, to notify the progress Can be realized.
  • the information processing apparatus 200 may change the method of the progress notification to the performer according to the content of the content such as a play, the situation at the time of the progress notification, or the like. For example, when intense performance is being performed by the performer, the information processing apparatus 200 may make the intensity of the tactile stimulus higher to make it easier for the performer to perceive, or make the tactile stimulus presented longer. Can. Similarly, the information processing apparatus 200 may increase the size of the sound presented by the directional speaker or may extend the presented period. In addition, in a scene in which a foot is mainly used for performance, such as when a performer steps on a step, the information processing apparatus 200 may present a tactile stimulus to a part other than the foot. In addition, in a situation where progress notification is difficult (for example, a situation where BGM is presented at a large volume, a situation where a performer is acting hard, etc.), the information processing apparatus 200 may not perform the progress notification.
  • the information processing apparatus 200 may not perform the progress notification.
  • FIG. 16 shows an example of the flow of processing in the case where progress notification is realized by the tactile stimulus being presented to the performer when the tactile stimulus is presented to the user.
  • step S1104 the tactile data generation unit 221 proceeds based on the tactile data provided to the sense presentation device 100b worn by the user in step S1108. Generate notification data.
  • the method of generating the progress notification data is as described above.
  • the communication unit 230 provides the progress notification data to the sensation presentation device 100a worn by the performer.
  • step S1116 the tactile sense data presentation unit 121 of the sense presentation device 100a, to which the progress notice data is provided, notifies the performer of the progress notice by presenting the tactile stimulus. If no tactile stimulus is presented to the user in step S1100 (step S1100 / No), and if the progress notification to the performer is not required in step S1104 (step S1104 / No), steps S1108 to S1116 are performed. Processing is not performed. The above process is continued until the content ends (step S1120 / No).
  • the information processing system has a function of notifying each user that light has been presented to each user as a function other than the function (hereinafter referred to as “light sensation presentation notification by light Function) may be realized. Then, the sensation presentation notification function by light will be described.
  • a presentation in which tactile stimuli are presented and propagated sequentially from the user in front of the stage to the user behind the stage is intuitively connected to the image of tactile stimuli. Easy and effective. Also, it is considered that similar effects can be obtained not only for tactile stimulation but also for presentation of senses other than tactile senses such as sound, video, odor, or taste. On the other hand, each user can not recognize how various senses including tactile stimulation are presented to other users.
  • presentation of sensation is achieved by interlocking presentation of sensation to each user and effect by light, and changing the irradiation range of light in accordance with presentation of sensation to each user. Inform each user of what is happening. More specifically, the light presentation unit such as the light 320 or the projector 300 has a function of emitting light for each user (or for each group of users). Then, the illumination data generation unit 223 of the information processing apparatus 200 causes the tactile data presentation unit 121 to present a tactile stimulus to the user (third timing), or the acoustic data presentation unit 131 provides a sound to the user.
  • Illumination data so that light is emitted from the light presentation unit such as the light 320 or the projector 300 to the user (first user) to be presented at the timing (third timing) Generate). Then, the illumination data is provided to the lights 320 via a predetermined network, so that the lights 320 can emit light for each user (or for each group of users).
  • the illumination data generation unit 223 performs sensory presentation notification by distinguishing the color of light emitted to the user whose sense is presented from the color of light illuminated to the user whose sense is not presented. It may be realized.
  • the information processing device 200 causes the sense presentation device 100 to emit light instead of performing the sense presentation notification using the light 320 (or the projector 300). Sense notification may be realized.
  • the information processing device 200 may cause the device to emit light.
  • FIG. 18 shows an example of the flow of processing when sensory presentation notification is given to the user who is presented with the tactile stimulation by the light 320 emitting light.
  • step S1200 the illumination data generation unit 223 of the information processing device 200 recognizes the presentation timing of the tactile stimulation by each sense presentation device 100.
  • the illumination data generation unit 223 recognizes the presentation timing of the tactile stimulation by analyzing the tactile data generated by the tactile data generation unit 221.
  • the illumination data generation unit 223 generates illumination data based on the presentation timing of the tactile stimulation. More specifically, the illumination data generation unit 223 causes the light 320 to transmit light relative to the position (position coordinates or position of the seat) of the user to be presented at the timing when each sensory presentation device 100 presents tactile stimulation. Generate illumination data to be illuminated. In step S1208, the communication unit 230 provides illumination data to the light 320.
  • step S1212 the light 320 to which the illumination data is provided performs sensory presentation notification by emitting light to the user who is presented with the tactile stimulus simultaneously with the presentation of the tactile stimulus. The above process is continued until the content is completed (step S1216 / No).
  • the sense presentation device 100 has a structure in which two sheets of an outer vest having no size adjustment function and an inner vest having a size adjustment function overlap (a structure in which the outer vest is put on the inner vest). Also, in consideration of the ease of attachment and detachment by the user, the outer vest and the inner vest may be partially physically connected, for example, at both shoulders.
  • FIG. 19 shows an example of the outer vest
  • FIG. 20 shows an example of the inner vest.
  • FIG. 19 shows an example of the outer vest of the sense presentation device 100 (shown in FIG. 2) in which the sound data presentation unit 131 is disposed on both shoulders.
  • the outer vest and the inner vest shown by A in FIG. 20
  • has an opening and closing mechanism 10 for example, a fastener, a surface fastener, or a button, etc., but the opening and closing mechanism 10 is not limited thereto
  • the opening and closing mechanism 10 is not limited thereto
  • the outer vest is provided with a predetermined number of pockets 11 (in the example of FIG. 19, the pockets 11a to 11d) in the front body.
  • the outer vest can store, for example, parts to be attached to a wrist or a foot, which will be described later, so that management of each part becomes easy when these parts are not used.
  • the best type sense presentation device 100 is adopted is mainly described in consideration of the point that the user can easily move the arm, the point that the breathability is excellent, etc.
  • the shape of the device 100 (in particular, the shape of the outer vest) may be changed in various designs according to the application (content content).
  • FIG. 20 An example of the front of the inner vest is shown in A of FIG. 20, and an example of the back of the inner vest is shown in B of FIG.
  • the side surface portion of the inner vest is provided with an adjusting mechanism 12 (in the example of FIG. 20, a surface fastener) capable of adjusting the size of the inner vest steplessly.
  • the sensory presentation device 100 In order for the sensory presentation device 100 to transmit haptic stimulation to the user's body, it is desirable that the sensory presentation device 100 and the haptic data presentation unit 121 be pressed against the body with an appropriate pressure.
  • the user's body has a large individual difference depending on age and gender.
  • the inner vest can adjust the contact pressure between the tactile data presentation unit 121 and the body, and can present optimal tactile stimulation to each user.
  • the adjustment mechanism 12 is not exposed to the surface by the inner vest being covered by the outer vest at the time of use.
  • the design of the wear is enhanced, and while theatrical plays and movies are being watched, the user himself makes a loud noise by removing the installation of the surface fasteners in order to adjust the size using the surface fasteners of the inner best and the like. Can be prevented from causing discomfort to the surrounding audience. It is assumed that the user wears the sensation presentation device 100 before the start of the content, and that size adjustment and detachment are not performed except for a break time and the like.
  • a space for attachment (desorption) of the sense presentation device 100 is provided at a position different from the seat where the user sits, and the attendant assists the user in detaching the sense presentation device 100. Yes (of course, not limited to this).
  • the inner vest includes the fixing mechanism 13 on almost the entire surface, which enables the haptic data presentation unit 121 to be fixed at a desired position.
  • the inner vest has a 2 sheet structure, and the fixing mechanism 13 is equipped inside the 2 sheet structure which a user can not touch.
  • the haptic data presentation unit 121 can be fixed to the inner vest by being sandwiched between the fixing mechanism 13 (such as a surface fastener female) and the fixing mechanism 14 (such as a surface fastener male) that is a separate part.
  • the fixing mechanism 13 such as a surface fastener female
  • the fixing mechanism 14 such as a surface fastener male
  • the fixing mechanism 13 is provided on the inner surface of “the outer side 15 of the inner vest” (outer vest side) of the two-sheet structure. In other words, it is assumed that the fixing mechanism 13 is not provided on the “inner side 16” (body side of the user) of the two-piece structure.
  • an operation may be considered in which the tactile data presentation unit 121 is disposed avoiding the chest.
  • three sizes of S / M / L are prepared (in the same wear) according to the size of the body, and the fixed position of the tactile sense data presentation unit 121 as described above.
  • the position and the number of the tactile data presentation unit 121 are changed before the start of the content according to the content of the content, and each tactile data presentation unit 121 is changed based on the setting of the position and the number.
  • An operation of designing and generating tactile data to be input may be considered.
  • the tactile sense data presentation unit 121 Can be electrically connected to the tactile sense data presentation unit 121.
  • a cable for example, a curled cable, a wind-up cable, etc.
  • a channel available to the additional tactile data presentation unit 121 may be used to present tactile stimulation to another part (for example, the best part). This enables more diverse tactile stimuli to be presented to the part.
  • the additional haptic data presentation unit 121 may be connected by wireless.
  • the additional haptic data presentation unit 121 is fixed at a constant pressure on the body part by a predetermined fixing mechanism (for example, a surface fastener or the like).
  • a predetermined fixing mechanism for example, a surface fastener or the like.
  • the sensory presentation device 100 can present tactile stimulation to the wrist, the knee, the back of the foot, and the like other than the best portion.
  • the position at which the additional haptic data presentation unit 121 is fixed is not particularly limited, and may be flexibly changed according to the content of the content.
  • labels 17 in FIG. 22 B, labels 17 a to 17 f indicate a fixed position indicating the fixed position to each additional haptic data presentation unit 121. Is assumed to be attached. This prevents the user from fixing each additional haptic data presentation unit 121 in the wrong position.
  • FIG. 23 shows a user sitting on a seat with the sensory presentation device 100 (and the additional tactile data presentation unit 121k to tactile data presentation unit 121p) attached. And it is assumed that the operation panel 180 used for the predetermined operation by a user is installed in each seat.
  • a switch 181 is provided on the operation panel 180 a shown in A of FIG. 24, and the user operates the switch 181 to switch ON / OFF the presentation of various senses including tactile stimulation and the like.
  • the operation panel 180a is provided with a connector 182 (female), and the user can operate the sensation presentation device 100 by inserting the connector (male) provided in the sensation presentation device 100 into the connector 182.
  • the operation panel 180b shown in FIG. 24B is additionally provided with a volume adjustment mechanism 183, and the user is presented by the sense presentation device 100 by operating the volume adjustment mechanism 183. The tactile stimulus or sound volume can be adjusted to the desired magnitude.
  • the information processing apparatus 200 includes a central processing unit (CPU) 901 and a read only memory (ROM). Memory) 902, RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, an interface 907, an input device 908, an output device 909, a storage device (HDD) 910, A drive 911 and a communication device 912 are provided.
  • CPU central processing unit
  • ROM read only memory
  • Memory Random Access Memory
  • RAM Random Access Memory
  • host bus 904 a bridge 905
  • an external bus 906 an interface 907
  • an input device 908 an output device 909
  • HDD storage device
  • a drive 911 and a communication device 912 are provided.
  • the host bus 904 is connected to an external bus 906 such as a peripheral component interconnect / interface (PCI) bus via the bridge 905.
  • PCI peripheral component interconnect / interface
  • the input device 908 is an input control circuit such as a mouse, a keyboard, a touch panel, a button, a microphone, an input unit for inputting information such as a switch and a lever, and an input control circuit which generates an input signal based on an input by the user. And so on.
  • a user who uses the information processing apparatus 200 can input various data to each apparatus or instruct processing operation by operating the input device 908.
  • the input device 908 realizes the function of the controller 260.
  • the output device 909 includes, for example, a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp.
  • a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp.
  • CTR cathode ray tube
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • the storage device 910 is a device for storing data.
  • the storage device 910 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 910 is configured by, for example, an HDD (Hard Disk Drive).
  • the storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the storage device 910 implements the function of the storage unit 250.
  • the drive 911 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 200.
  • the drive 911 reads out information recorded in a removable storage medium 913 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 911 can also write information in the removable storage medium 913.
  • the communication device 912 is, for example, a communication interface configured of a communication device or the like for connecting to the communication network 914.
  • the communication device 912 realizes the function of the communication unit 230.
  • the operation check operation may be performed in a state where the sensation presentation device 100 is connected to the connector 182 of the operation panel 180 before the content is started.
  • an audible sound is sequentially generated from each tactile data presentation unit 121 (actuator) of the sense presentation device 100 for confirmation of the energized state and the like, and the confirmation person confirms the operation with his ear. Do. At that time, an audible sound may be changed for each tactile data presentation unit 121 (for example, identification information such as “1”, “2”, “3”, etc. for each tactile data generation unit 221 of each sense presentation device 100 is And the tactile data presentation unit 121 outputs the identification information as an audible sound, etc.).
  • a simple waveform with low audibility such as a Sin wave of 100 [Hz] is sequentially input to each haptic data presentation unit 121.
  • a simple waveform with low audibility such as a Sin wave of 100 [Hz] is sequentially input to each haptic data presentation unit 121.
  • the checker hears abnormal noise, it is expected that the haptic data presentation unit 121 is damaged or the like.
  • the operations of the first step and the second step are performed by operating the sensory presentation devices 100 one by one so that the sounds emitted from the sensory presentation devices 100 are not mixed. For example, while the checker operates the switch 181 of the operation panel 180 to switch ON / OFF of each sense presentation device 100, the work of the first step and the second step is performed.
  • the information processing apparatus according to (4). (6)
  • the notification is performed at substantially the same timing as the third timing.
  • the second user is a user who provides the first user with content for which presentation of the sense is performed.
  • the information processing apparatus according to any one of (4) to (6).
  • the information processing apparatus according to any one of (2) to (7).
  • the first user who is presented with the sense is irradiated with light from the light presentation unit at the third timing,
  • the generation unit generates third data used for the irradiation of the light.
  • the information processing apparatus according to (8).
  • sense presentation device 110 control unit 111 haptic data processing unit 112 acoustic data processing unit 120 haptic presentation unit 121 haptic data presentation unit 130 sound presentation unit 131 acoustic data presentation unit 140 communication unit 150 sensor unit 160 storage unit 170 sound collection unit 200 information Processing unit 210 control unit 211 delay measurement unit 220 generation unit 221 haptic data generation unit 222 acoustic data generation unit 223 illumination data generation unit 230 communication unit 240 display unit 250 storage unit 260 controller 270 audio IF 280 Amplifier 290 Front Speaker 300 Projector 310 Screen 320 Light 330 Smoke Generator 340 Wind Generator

Abstract

【課題】音がユーザに知覚されるまでに発生する遅延を適切に考慮して、当該ユーザに対して感覚を提示することを可能にする。 【解決手段】音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成する生成部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えば以下の特許文献１のように触覚刺激などをユーザに提示するための技術が各種提案されている。
特開２０１８－６０３１３号公報
　ここで、音響提示部（スピーカなど）から出力される音が、触覚刺激などの様々な感覚とともにユーザに提示される場合がある。例えば、観劇や映画鑑賞の際などに、音響提示部から出力される音と、ユーザに装着された感覚提示部（アクチュエータなどを備えたウェア型の装置など）から出力される触覚刺激がともにユーザに提示される場合などが挙げられる。このとき、特許文献１の技術などによっては、音響提示部から出力される音がユーザに知覚されるまでに発生する遅延を適切に考慮して、触覚刺激などの感覚の提示が行われていなかった。したがって、音がユーザに知覚されるタイミングと、触覚刺激などの感覚がユーザに知覚されるタイミングにずれが生じていた。
　そこで、本開示では、音がユーザに知覚されるまでに発生する遅延を適切に考慮して、当該ユーザに対して感覚を提示することが可能な新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成する生成部を備える、情報処理装置が提供される。
　また、本開示によれば、音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成することを有する、コンピュータにより実行される情報処理方法が提供される。
　また、本開示によれば、音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成すること、をコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、音がユーザに知覚されるまでに発生する遅延を適切に考慮して、当該ユーザに対して感覚を提示することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
感覚提示デバイス１００の具体例を示す図である。 感覚提示デバイス１００の具体例を示す図である。 本開示に係る情報処理システムの構成例を示す図である。 発生する音響遅延について説明する図である。 発生する音響遅延について説明する図である。 映像、音、感覚それぞれが出力されるタイミング、知覚されるタイミングの態様について説明する図である。 感覚の提示を音響遅延量だけ遅らせる態様について説明する図である。 情報処理装置２００の機能構成例を示すブロック図である。 感覚提示デバイス１００の機能構成例を示すブロック図である。 音響遅延量に基づく感覚の提示タイミングの調整処理の流れの例を示すフローチャートである。 進行通知機能の態様について説明する図である。 進行通知機能の態様について説明する図である。 進行通知機能の態様について説明する図である。 進行通知機能の態様について説明する図である。 進行通知機能の態様について説明する図である。 進行通知処理の流れの例を示すフローチャートである。 光による感覚提示通知機能について説明する図である。 光による感覚提示通知処理の流れの例を示すフローチャートである。 アウターベストについて説明する図である。 インナーベストについて説明する図である。 触覚データ提示部１２１の固定態様について説明する図である。 追加の触覚データ提示部１２１の装着態様について説明する図である。 ユーザが感覚提示デバイス１００を装着した状態で座席に座っている様子を示す図である。 操作パネル１８０について説明する図である。 情報処理装置２００のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理システムの概要
　２．装置の機能構成例
　３．装置の処理フロー例
　４．進行通知機能
　５．光による感覚提示通知機能
　６．ハードウェア構成例
　７．備考
　　＜１．情報処理システムの概要＞
　まず、本開示に係る情報処理システムの概要について説明する。
　本開示に係る情報処理システムは、ユーザに様々な感覚を提示するものである。より具体的に説明すると、図１に示すように、情報処理システムは、ユーザに装着される感覚提示デバイス１００を備えており、当該感覚提示デバイス１００を介してユーザに対して様々な感覚を提示する。
　図１に示すように、感覚提示デバイス１００は、内部に複数の触覚データ提示部１２１（図中では、触覚データ提示部１２１ａ～触覚データ提示部１２１ｈ）を備える。例えば、感覚提示デバイス１００の内部において、ユーザの正面側に複数個（例えば、図１に示すように６個（触覚データ提示部１２１ａ～触覚データ提示部１２１ｆ））、肩部に複数個（例えば、図１に示すように各肩に１個ずつ（触覚データ提示部１２１ｇおよび触覚データ提示部１２１ｈ））、および背面側に複数個（図示なし。例えば、正面側と同様に６個）触覚データ提示部１２１が配置され得る。一例として、正面側に配置されている個々の触覚データ提示部１２１と、背面側に配置されている個々の触覚データ提示部１２１とが向かい合うような位置関係で、個々の触覚データ提示部１２１は配置され得る。
　感覚提示デバイス１００は、１以上の触覚データ提示部１２１を備え、これらの出力の大きさやタイミング、または出力させる触覚データ提示部１２１の組合せを制御することによって様々な触覚刺激をユーザに提示することができる。例えば、感覚提示デバイス１００は、ユーザが切られる感覚、ユーザが何らかの物体に当たる感覚、ユーザが押さえつけられる感覚などを提示することができる。なお、図１では、感覚提示デバイス１００が袖なしの服（ベスト）である例を示しているが、かかる例に限定されず、感覚提示デバイス１００は、袖やズボンも有することで体の各所に感覚を提示できてもよい。また、感覚提示デバイス１００に備えられる触覚データ提示部１２１の数は特に限定されない。
　また、図１に示すようにユーザの耳付近に備えられるマイクなどの集音部１７０（図中では、集音部１７０ａおよび集音部１７０ｂ）が併せて備えられる。集音部１７０は、所定のスピーカから発せられた音がユーザに知覚されるまでに発生する遅延（以降、「音響遅延」と呼称する場合もある）を算出する際に使用される装置である。詳細については後述する。
　また、図２に示すように、感覚提示デバイス１００は、音を提示する音響データ提示部１３１（図中では、音響データ提示部１３１ａおよび音響データ提示部１３１ｂ）を備えていてもよい。例えば、感覚提示デバイス１００には、ユーザの肩部に複数個（例えば、図２に示すように各肩に１個ずつ）音響データ提示部１３１が配置され得る。
　感覚提示デバイス１００は、１以上の音響データ提示部１３１を備え、これらの出力の大きさやタイミングなどを制御することによって様々な音響効果をユーザに対して提示することができる。例えば、感覚提示デバイス１００は、音像を空間に定位させることができたり、別のスピーカからＢＧＭが提示されている状況においてユーザだけに効果音（例えば、ユーザが切られた時の効果音や、ユーザが何らかの物体に当たった時の効果音など）を提示できたりする。なお、感覚提示デバイス１００に備えられる音響データ提示部１３１の数は特に限定されない。
　ここで、図１および図２の例では、感覚提示デバイス１００によってユーザに提示される感覚が、触覚（触覚データ提示部１２１によって提示される触覚刺激）または聴覚（音響データ提示部１３１によって提示される音）を含む旨を示したが、ユーザに提示される感覚はこれらに限定されない。より具体的には、感覚提示デバイス１００は、視覚、嗅覚、または味覚を提示可能な機構を備えていてもよい。例えば、感覚提示デバイス１００は、透過型ヘッドマウントディスプレイなどのように視覚（映像）を提示できてもよいし、芳香提示装置などのように嗅覚（匂い）を提示できてもよいし、電気味覚提示装置などのように味覚（味）を提示できてもよい。
　続いて、図３を参照して、感覚提示デバイス１００を含むシステム全体の構成例について説明する。本開示に係る情報処理システムは、例えば、屋内（例えば、劇場、映画館、コンサートホール、ライブハウス、またはテーマパーク内の屋内遊戯施設など）、屋外（例えば、屋外にステージが設けられた劇場、コンサート会場やライブ会場、屋外にスクリーンが設けられた映画上映会場、またはテーマパーク内の屋外遊戯施設など）を問わず利用され得るシステムである。そして、図３に示すように、本開示に係る情報処理システムは、感覚提示デバイス１００と、情報処理装置２００と、コントローラ２６０と、オーディオＩＦ２７０と、アンプ２８０と、フロントスピーカ２９０と、プロジェクタ３００と、スクリーン３１０と、ライト３２０と、煙発生器３３０と、風発生器３４０と、を備える（なお、図３に示す情報処理システムは、屋内で利用される場合を想定したものである）。
　ユーザは、感覚提示デバイス１００を装着し、スクリーン３１０やステージを視認可能な態様で座席に座る。情報処理装置２００は、情報処理システム全体を統括的に制御する装置である。より具体的には、情報処理装置２００は、感覚提示デバイス１００を介してユーザに提示される感覚、スクリーン３１０に投影される映像、フロントスピーカ２９０から発せられる音、ライト３２０から照射される光、煙発生器３３０から発せられる煙、風発生器３４０から発せられる風などを統括的に制御する。情報処理装置２００の機能については後段にて詳述する。コントローラ２６０は、操作者が情報処理装置２００に対して入力を行う際に使用される装置である。
　オーディオＩＦ２７０は、感覚提示デバイス１００を介する音の提示に使用される音響データのインタフェースとして機能する装置である。アンプ２８０は、オーディオＩＦ２７０に入力された音響データの増幅、調整または入力の切り替えなどを行う装置である。フロントスピーカ２９０は、会場全体に対して（ユーザ（第１のユーザ。以降、第１のユーザを単に「ユーザ」と呼称する場合がある）が複数人存在する場合には、全てのユーザに対して）音を提示する装置である。
　プロジェクタ３００は、スクリーン３１０に対して映像を投影する装置であり、スクリーン３１０は、映像が投影される面（例えば平面や曲面）である。ライト３２０は光を、煙発生器３３０は煙を、風発生器３４０は風を、それぞれ提示する装置である。
　以上、本開示に係る情報処理システムの構成例について説明した。なお、図３を参照して説明した上記の構成はあくまで一例であり、本開示に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理システムを構成する各装置の台数は特に限定されない。本開示に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
　ここで、フロントスピーカ２９０とユーザの離隔距離が離れるほど、フロントスピーカ２９０から出力された音がユーザに知覚されるまでに発生する音響遅延が大きくなる。したがって、フロントスピーカ２９０による音の提示と、感覚提示デバイス１００からの感覚の提示が略同一のタイミングで行われると、音がユーザに知覚されるタイミングが、感覚が知覚されるタイミングに比べて遅くなる。
　例えば、図４のＡに示すように、フロントスピーカ２９０から１７［m］離れてユーザ（図中では、「user1」と記載）が位置している場合、音速を約３４０［m/s］とすると、約５０［ms］の音響遅延が発生する。また、ユーザが複数人存在する場合において、図４のＡに示すようにフロントスピーカ２９０から２４［m］離れて位置しているユーザ（図中では、「user2」と記載）については約７１［ms］の音響遅延が発生する。このように、各ユーザによっても、フロントスピーカ２９０に対する各人の位置関係に応じて音響遅延の大きさ（以降、「音響遅延量」と呼称する場合もある）が異なる。
　一方で、例えば、触覚データ提示部１２１によって提示される触覚刺激は、音と違い空気などの媒体を伝搬しないため（図４のＢには、触覚データ提示部１２１がユーザの体に密着している様子が示されている）、提示されてからユーザに知覚されるまでの遅延がほとんど生じない。感覚提示デバイス１００が触覚以外の感覚を提示可能な場合においても、音響データ提示部１３１や芳香提示装置などのように空気を媒体として音や匂いを提示する装置以外については、遅延がほとんど生じないと言える。また、音響データ提示部１３１や芳香提示装置などがユーザの耳や鼻などに極めて近い位置に配置される場合には遅延が無いものとして扱われてもよい。これによって、上記のとおり、フロントスピーカ２９０から提示された音がユーザに知覚されるタイミングは、感覚がユーザに知覚されるタイミングに比べて遅くなる。なお、図５のＢには、音響データ提示部１３１から提示された音がユーザに知覚されるまでに約０．６［ms］の音響遅延が生じる旨を示しているところ、当該音響遅延を考慮しても、フロントスピーカ２９０から提示された音の音響遅延量は、音響データ提示部１３１から提示された音の音響遅延量よりも相当程度大きい。
　本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置２００は、音響提示部（フロントスピーカ２９０）から音が出力される第１のタイミングと、第１のユーザ（観客）が音を知覚する第２のタイミングとの差異（音響遅延量）に基づいて、第１のユーザに装着された感覚提示部（感覚提示デバイス１００）による第１のユーザへの感覚の提示に用いられる第１のデータを生成する。
　そして、情報処理装置２００は、第１のタイミングと第２のタイミングとの差異（音響遅延量）に基づいて決まる第３のタイミングに第１のユーザに対して感覚を提示する。例えば、情報処理装置２００は、第１のユーザが音を知覚する第２のタイミングと略同一のタイミングに第１のユーザに対して感覚を提示する（換言すると、この場合、第３のタイミングは第２のタイミングと略同一である）。これによって、第１のユーザは、フロントスピーカ２９０から提示された音と感覚を略同一のタイミングで知覚することができるため違和感を受けにくい。なお、第３のタイミングは、第１のユーザが音を知覚する第２のタイミングと略同一でなくてもよい。すなわち、情報処理装置２００は、第１のユーザが音を知覚する第２のタイミングと、感覚を知覚する第３のタイミングを意図的にずらしてもよい。このように、情報処理装置２００は、第１のユーザが感覚を知覚する第３のタイミングを、第１のユーザが音を知覚する第２のタイミングに対して柔軟に制御することができる。
　当該機能の実現方法についてより具体的に説明すると、情報処理装置２００は、フロントスピーカ２９０によって音が出力されるタイミングを第１のタイミングとして取得する。例えば、第１のタイミングは、予めコンテンツに組み込まれていてもよい（プログラムされていてもよい）し、コントローラ２６０を介した操作者による入力によって決定されてもよいし、演者などの動作がセンシングされることによって決定されてもよい。
　そして、情報処理装置２００は、ユーザ（第１のユーザ）の耳付近に装着された集音部１７０（音検出部）によって、フロントスピーカ２９０から出力された音が検出されたタイミングを第２のタイミングとして取得する。なお、集音部１７０が耳穴の極めて近くに配置されている場合には、このように、集音部１７０による検出タイミングが第２のタイミングとして扱われてもよいところ、集音部１７０が耳穴から相当程度離れている場合（数十［cm］程度）には、情報処理装置２００は、その離隔距離も考慮した上で第２のタイミングを算出してもよい。
　その後、情報処理装置２００は、第１のタイミングと第２のタイミングとの差異（音響遅延量）を算出する。そして、情報処理装置２００は、当初フロントスピーカ２９０によって音が出力される第１のタイミングと同時に提示する予定だった感覚を、基本的には、第１のタイミングから音響遅延量だけ遅らせたタイミング（換言すると、第２のタイミングと略同一のタイミング）で提示する。なお、上記の「第１のタイミングと同時に提示する予定だった感覚」という記載はあくまで一例であり、感覚の提示タイミングが必ずしも事前に予定されていなくてもよい。
　なお本書においては、主に、各ユーザが座席に座っており、各ユーザについての音響遅延量が変化しない場合を一例として説明するが、各ユーザについての音響遅延量は変化してもよい。例えば、ユーザまたはフロントスピーカ２９０の少なくともいずれか一方が移動することによって、各ユーザについての音響遅延量が変化してもよい。なお、各ユーザについての音響遅延量が変化しない場合には、情報処理装置２００は、事前に（例えば、開演前などに）一度、各座席についての音響遅延量を測定することで上記機能を実現することができる。一方、各ユーザについての音響遅延量が変化する場合には、情報処理装置２００は、随時、またはユーザやフロントスピーカ２９０が移動する度に音響遅延量を測定することで上記機能を実現することができる。
　ここで、図６のＡ～Ｃを一例として、プロジェクタ３００からの映像、フロントスピーカ２９０からの音、感覚提示デバイス１００からの感覚（図中では、触覚刺激）それぞれが出力されるタイミング、知覚されるタイミングの態様について説明する。なお、図６における「タイムコード」とは、ユーザに提供されるコンテンツの管理に使用される時間間隔であり、例えば、１秒間が２４分割されたものなどを指す（なお、これに限定されない）。図６のＡは、映像、音、触覚刺激の全てが略同一のタイミングに知覚されるように予めプログラムされた場合の例である。例えば、情報処理装置２００が事前に一度、各座席についての音響遅延量を測定し、その音響遅延量をコンテンツに反映した場合などが図６のＡの例に該当する。映像、音、触覚刺激の全ての知覚タイミングが略同一であるため、ユーザはほとんど違和感を受けることなく鑑賞（視聴）することができる。
　図６のＢは、映像が先に知覚され、その後音および触覚刺激が略同一のタイミングに知覚されるように予めプログラムされた場合の例である。図６には「映像」が提示される場合が示されているが、例えば映像ではなく演者による演技が行われる場合において、仮に演者の動作が、音および触覚刺激と完全に同一のタイミングに行われなかったとしても、図６のＢのように、音および触覚刺激が略同一のタイミングに知覚されれば、ユーザは大きな違和感を受けない。
　図６のＣは、情報処理装置２００が、音響遅延量に基づいて触覚刺激を提示するタイミングを制御する場合の例である。例えば、ユーザまたはフロントスピーカ２９０が移動することなどによって音響遅延量が変化する場合や、予め音響遅延量をコンテンツに反映することができない場合などにおいて、情報処理装置２００が触覚刺激の提示の都度、そのタイミングを制御する場合などが図６のＣの例に該当する。
　図６のＡ～Ｃに示すように、音および感覚がユーザに知覚されるタイミングが制御される（特に、略同一に調整される）ことが、本開示のポイントの一つである。なお、映像がユーザに知覚されるタイミングも併せて制御されてもよい（例えば、図６のＡのように映像も音および感覚と略同一のタイミングで知覚されるように制御されてもよい）。例えば、プロジェクタ３００およびスクリーン３１０ではなく各ユーザ専用のディスプレイ（例えば、遮蔽型ヘッドマウントディスプレイなど）が設けられた場合、情報処理装置２００は、ユーザごとに映像、音、および感覚の提示タイミングを制御してもよい。
　上記のとおり、情報処理装置２００は、フロントスピーカ２９０によって音が出力される第１のタイミングと同時に提示する予定だった感覚を、基本的には、第１のタイミングから音響遅延量だけ遅らせたタイミング（換言すると、第２のタイミングと略同一のタイミング）で提示する。
　ここで、図７を参照して、感覚の提示を音響遅延量だけ遅らせる態様のバリエーションについて説明する。図７には、音響データ提示部１３１による音の提示を音響遅延量だけ遅らせる態様のバリエーションが示されている。
　より具体的に説明すると、図７のＡには、情報処理装置２００がユーザごとに別々のオーディオチャンネルを割り当て、先頭に音響遅延量に相当する無音区間が挿入された音響データ（第１のデータ）を生成する方法が示されている。そして、当該音響データがオーディオＩＦ２７０およびアンプ２８０を介して感覚提示デバイス１００に提供されることで、ユーザごとに音響データ提示部１３１による音の提示タイミングが制御される（換言すると、感覚の提示が第１のユーザごとに行われる）。なお、音響遅延量が互いに略同一とみなされる複数のユーザが存在する場合、情報処理装置２００は、当該ユーザの集団ごとに上記の音響データを生成してもよい（換言すると、感覚の提示が第１のユーザの集団ごとに行われてもよい）。このように、情報処理装置２００が統括的に各ユーザに提供される音響データを生成することによって、その他の装置（アンプ２８０や感覚提示デバイス１００など）の機能を簡略化することが可能となるため、情報処理システム全体の実現コストを低減させることが可能となる。
　図７のＢには、情報処理装置２００が全てのユーザに同一のオーディオチャンネルを割り当て、さらに、各ユーザに対応するアンプ２８０に遅延回路が設けられた上で、情報処理装置２００が各遅延回路の遅延量を異なる値に設定する方法が示されている。例えば、情報処理装置２００は、遅延回路のパラメータを変更することによってそれぞれの遅延量を制御する。この例においても、情報処理装置２００は、ユーザの集団ごとに遅延回路の遅延量を制御してもよい。
　図７のＣには、情報処理装置２００が全てのユーザに同一のオーディオチャンネルを割り当て、さらに、各ユーザが装着する感覚提示デバイス１００に遅延回路が設けられた上で、情報処理装置２００が各遅延回路の遅延量を異なる値に設定する方法が示されている。例えば図７のＢと同様に、情報処理装置２００は、遅延回路のパラメータを変更することによってそれぞれの遅延量を制御する。この例においても、情報処理装置２００は、ユーザの集団ごとに遅延回路の遅延量を制御してもよい。
　図７のＢはＡよりも、ＣはＢおよびＡよりも柔軟に音響遅延に対応することができると言える。例えば、図７のＣの場合には、音響遅延量が刻々と変化する場合であっても、感覚の提示直前の音響遅延量に基づいて感覚の提示タイミングが制御され得る。換言すると、ユーザの体験上もっとも好ましい態様は図７のＣであると言える。
　図７では、音響データ提示部１３１によって音が提示される場合の例について説明したが、聴覚（音）以外の感覚が提示される場合についても図７と同様の考え方が可能である。例えば、触覚刺激が提示される場合においても、情報処理装置２００、中継される装置（例えば、アンプ２８０に対応する装置など）、または感覚提示デバイス１００などによって提示タイミングが遅らせられ得る。
　なお、本書では、最も基本的な態様である図７のＡが実現される場合を中心に説明するところ、図７のＡ～Ｃのいずれの態様で本開示が実現されるかは設計事項である。換言すると、本開示は、図７のＡ～Ｃのいずれの態様で実現されてもよいし、図７以外の態様で実現されてもよい。また、上記のとおり、情報処理装置２００は、音響遅延量に基づいてユーザへの感覚の提示に用いられる第１のデータを生成するところ、図７のＢおよびＣ（または図７以外）の態様においても「情報処理装置２００が音響遅延量に基づいてユーザへの感覚の提示に用いられる第１のデータを生成する」と言える点に留意されたい。
　より具体的に説明すると、情報処理装置２００がアンプ２８０や感覚提示デバイス１００に備えられる遅延回路のパラメータを変更することで遅延量を制御し、第１のデータ（例えば、音響データなど）の遅延量を制御することは、「情報処理装置２００が音響遅延量に基づいてユーザへの感覚の提示に用いられる第１のデータを生成する」ことと等価であると言える。また、後段にて説明する情報処理装置２００の各機能構成は必ずしも情報処理装置２００内に備えられている必要はなく、他の装置（例えば、アンプ２８０や感覚提示デバイス１００など）に備えられていてもよい。したがって、仮に情報処理装置２００が遅延回路の遅延量を変更できなかったとしても、何らかの方法によってアンプ２８０や感覚提示デバイス１００などの遅延回路の遅延量が制御可能であれば、それは、「情報処理装置２００が音響遅延量に基づいてユーザへの感覚の提示に用いられる第１のデータを生成する」ことと等価であると言える。
　　＜２．装置の機能構成例＞
　上記では、本開示に係る情報処理システムの概要について説明した。続いて、図８および図９を参照して、本開示に係る情報処理システムにおける情報処理装置２００および感覚提示デバイス１００の機能構成例について説明する。
　（２．１．情報処理装置２００の機能構成例）
　まず、図８を参照して、情報処理装置２００の機能構成例について説明する。図８に示すように、情報処理装置２００は、制御部２１０と、生成部２２０と、通信部２３０と、表示部２４０と、記憶部２５０と、を備え、通信部２３０を介して外部のコントローラ２６０と接続されている。
　（制御部２１０）
　制御部２１０は、情報処理装置２００の各機能構成を統括的に制御する機能構成である。例えば、制御部２１０は、コントローラ２６０からの入力や予め決められた進行内容に基づいて各機能構成の起動や停止を制御したり、感覚提示デバイス１００によってユーザに対して提示される感覚の内容など（例えば、触覚データ提示部１２１によって提示される触覚刺激の内容、タイミングおよび強さ、音響データ提示部１３１によって提示される音の内容、タイミングおよびボリュームなど）を指定したりすることができる。また、制御部２１０は、各種制御信号を生成することによって、情報処理システムにおける情報処理装置２００以外の装置を制御することができる。例えば、制御部２１０は、各装置のパラメータの変更などを行うことができるため、例えば図７のＢまたはＣの態様によって感覚の提示が行われる場合において、アンプ２８０や感覚提示デバイス１００に備えられる遅延回路の遅延量の変更などを行うことができる。なお、制御部２１０の制御内容はこれらに限定されない。例えば、制御部２１０は、汎用コンピュータ、ＰＣ（Personal Computer）、タブレットＰＣまたはスマートフォンなどにおいて一般的に行われる処理（例えば、ＯＳ（Operating System）の処理など）を実現してもよい。また、図８に示すように、制御部２１０は、遅延測定部２１１を備える。
　（遅延測定部２１１）
　遅延測定部２１１は、各ユーザについての音響遅延量を測定する機能構成である。より具体的に説明すると、遅延測定部２１１は、フロントスピーカ２９０によって音が出力されるタイミングを第１のタイミングとして取得する。上記のとおり、第１のタイミングは、予めコンテンツに組み込まれていてもよい（プログラムされていてもよい）し、コントローラ２６０を介した操作者による入力によって決定されてもよいし、演者などの動作がセンシングされることによって決定されてもよいところ、遅延測定部２１１はそれぞれの態様に応じた方法で第１のタイミングを取得する。例えば、第１のタイミングが予めコンテンツに組み込まれている場合には、遅延測定部２１１は、コンテンツのパラメータを制御部２１０または記憶部２５０などから取得することで第１のタイミングを取得する。
　そして、遅延測定部２１１は、ユーザの耳付近に備えられる集音部１７０によって、フロントスピーカ２９０から出力された音が検出されたタイミングを第２のタイミングとして取得する。例えば、遅延測定部２１１は、通信部２３０を介して各感覚提示デバイス１００から第２のタイミングを取得する。
　その後、遅延測定部２１１は、第１のタイミングと第２のタイミングとの差異を算出することで音響遅延量を算出する。遅延測定部２１１は、音響遅延量を後段の生成部２２０に提供することによって、生成部２２０による音響遅延量を考慮したデータの生成を実現する。
　なお、遅延測定部２１１は、上記の方法以外で音響遅延量を算出してもよい。例えば、遅延測定部２１１は、フロントスピーカ２９０およびユーザ（第１のユーザ）の位置関係に基づいて音響遅延量を推定してもよい。より具体的に説明すると、遅延測定部２１１は、本情報処理システムが使用される会場における各位置（任意の数の地点）とそれぞれの位置の音響遅延量とが対応付けられたデータを取得する。そして、遅延測定部２１１は、当該データと、ユーザの位置特定に使用され得るセンサ（例えば、感覚提示デバイス１００に備えられているセンサ）のセンサデータを用いて特定されたユーザの位置とを比較することによって、ユーザの位置における音響遅延量を推定してもよい。
　（生成部２２０）
　生成部２２０は、情報処理システムによって使用される各種データを生成する機能構成である。より具体的には、生成部２２０は、触覚刺激、音、光、映像、煙、および風の提示に使用されるデータを生成する機能構成である。なお、触覚刺激、音および光の提示に使用されるデータの生成については後述する。生成部２２０は、制御部２１０による制御に基づいて映像、煙、および風の提示に使用されるデータを随時生成し、プロジェクタ３００、煙発生器３３０、および風発生器３４０が接続されているネットワークを介してそれぞれの装置に対して生成したデータを提供する。図８に示すように、生成部２２０は、触覚データ生成部２２１と、音響データ生成部２２２と、照明データ生成部２２３と、を備える。
　（触覚データ生成部２２１）
　触覚データ生成部２２１は、遅延測定部２１１によって測定された音響遅延量に基づいて、感覚提示デバイス１００による触覚刺激の提示に使用される触覚データを生成する機能構成である。例えば、まず、触覚データ生成部２２１は、音響遅延量が所定の閾値以上であるか否かを判定する。なお、所定の閾値の設定方法は特に限定されず、例えば、所定の閾値は操作者による入力によって設定され得る。そして、音響遅延量が所定の閾値以上である場合、触覚データ生成部２２１は、先頭に音響遅延量に相当する空白区間（触覚刺激が提示されない区間）が挿入された触覚データを生成することで触覚刺激の提示タイミングを遅らせてもよいし、触覚データを生成するタイミング自体を音響遅延量だけ遅らせることで触覚刺激の提示タイミングを遅らせてもよい。なお、触覚刺激の提示タイミングを音響遅延量だけ遅らせることが可能であれば、上記以外の方法が用いられてもよい。
　（音響データ生成部２２２）
　音響データ生成部２２２は、フロントスピーカ２９０、および感覚提示デバイス１００の音響データ提示部１３１による音の提示に使用される音響データを生成する機能構成である。例えば、音響データ生成部２２２は、第１のタイミングを取得し、第１のタイミングにフロントスピーカ２９０によって音が出力されるように音響データを生成し、所定のネットワークを介して音響データをフロントスピーカ２９０に提供する。
　感覚提示デバイス１００への音響データの提供処理について説明すると、例えば、まず、音響データ生成部２２２は、音響遅延量が所定の閾値以上であるか否かを判定する。なお、所定の閾値の設定方法は特に限定されず、例えば、所定の閾値は操作者による入力によって設定され得る（また、当該閾値は、触覚データ生成部２２１によって使用される上記の閾値とは異なるものであってもよい）。そして、音響遅延量が所定の閾値以上である場合、音響データ生成部２２２は、フロントスピーカ２９０からの音響遅延量に相当する無音区間が先頭に挿入された音響データを生成することで音響データ提示部１３１による音の提示タイミングを遅らせてもよいし、音響データを生成するタイミング自体を音響遅延量だけ遅らせることで音の提示タイミングを遅らせてもよい。なお、音の提示タイミングを音響遅延量だけ遅らせることが可能であれば、上記以外の方法が用いられてもよい。
　（照明データ生成部２２３）
　照明データ生成部２２３は、制御部２１０による制御に基づいて、ライト３２０による光（照明）の提示に使用される照明データを生成する機能構成である。照明データ生成部２２３は、所定のネットワークを介して生成したデータをライト３２０に提供する。なお、本開示に係る情報処理システムにおいて、各ユーザに対して感覚の提示が行われるタイミングで、照明データ生成部２２３は、当該ユーザに対して光を照射する機能を実現することができる。当該機能の詳細については後述する。
　（通信部２３０）
　通信部２３０は、外部装置との通信を行う機能構成である。例えば、情報処理装置２００の操作者がコントローラ２６０を用いて入力を行った場合、通信部２３０は、コントローラ２６０から入力データを受信し、当該入力データを制御部２１０に提供することで操作者による入力の反映を実現する。また、通信部２３０は、生成部２２０によって生成されたデータ（例えば、触覚データや音響データなどを含む）を所定の外部装置へ送信することによって、触覚刺激、音、映像、照明、煙、および風などの提示を実現する。なお、通信部２３０によって通信されるデータはこれらに限定されない。例えば、通信部２３０は、フロントスピーカ２９０から出力された音が集音部１７０によって検出された第２のタイミングに関するデータを感覚提示デバイス１００から受信してもよいし、アンプ２８０や感覚提示デバイス１００に備えられた遅延回路の遅延量を変更するためのパラメータに関するデータをこれらの装置に送信してもよい。また、通信部２３０と各外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部２３０は、各外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
　（表示部２４０）
　表示部２４０は、操作者による入力に用いられる設定画面などを表示する機能構成である。この表示部２４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal
Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。なお、表示部２４０の種類および表示内容はこれらに限定されない。
　（記憶部２５０）
　記憶部２５０は、各種データを記憶する機能構成である。例えば、記憶部２５０は、情報処理装置２００の各機能構成によって使用されるプログラムやパラメータ、または各機能構成によって生成されたデータなど（例えば、触覚データ、音響データ、または照明データなど）を記憶する。なお、記憶部２５０が記憶するデータの内容はこれらに限定されない。
　（コントローラ２６０）
　コントローラ２６０は、操作者による入力を受け、入力データを情報処理装置２００に提供する装置である。コントローラ２６０は、キーボード、マウス、ボタン、スイッチ、レバー、タッチセンサ、圧力センサ、または近接センサなどの各種入力機構を備えることで操作者による入力を受けることができる。なお、コントローラ２６０が備える入力機構の種類はこれらに限定されない。また、コントローラ２６０は、情報処理装置２００の外部装置として設けられるのではなく、情報処理装置２００内に備えられてもよい。
　以上、情報処理装置２００の機能構成例およびコントローラ２６０について説明した。なお、図８を用いて説明した上記の機能構成はあくまで一例であり、情報処理装置２００の機能構成は係る例に限定されない。例えば、情報処理装置２００は、図８に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置２００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　（２．２．感覚提示デバイス１００の機能構成例）
　上記では、情報処理装置２００の機能構成例について説明した。続いて、図９を参照して、感覚提示デバイス１００の機能構成例について説明する。図９に示すように、感覚提示デバイス１００は、制御部１１０と、触覚提示部１２０と、音提示部１３０と、通信部１４０と、センサ部１５０と、記憶部１６０と、を備え、通信部１４０を介して外部の集音部１７０（この図では、集音部１７０ａおよび集音部１７０ｂ）と接続されている。
　（制御部１１０）
　制御部１１０は、感覚提示デバイス１００の各機能構成を統括的に制御する機能構成である。例えば、制御部１１０は、情報処理装置２００から提供される各種データ（例えば、触覚データ、音響データ、およびその他の制御信号などを含む）に基づいて各機能構成の起動や停止を制御する。また、制御部１１０は、集音部１７０によって、フロントスピーカ２９０から出力された音が検出された第２のタイミングに関するデータを、通信部１４０を介して情報処理装置２００へ提供する。なお、制御部１１０の制御内容はこれらに限定されない。例えば、制御部１１０は、汎用コンピュータ、ＰＣ、タブレットＰＣまたはスマートフォンなどにおいて一般的に行われる処理（例えば、ＯＳの処理など）を実現してもよい。また、図９に示すように、制御部１１０は、触覚データ処理部１１１と、音響データ処理部１１２と、を備える。
　（触覚データ処理部１１１）
　触覚データ処理部１１１は、情報処理装置２００から提供される触覚データを用いて、触覚データ提示部１２１による触覚刺激の提示に関する処理を行う。例えば、触覚データ処理部１１１は、感覚提示デバイス１００個別の設定（例えば、ユーザが独自に行った感覚提示デバイス１００の設定など（例えば、ボリュームの設定や、機能のON／OFFの設定など））に基づいて、情報処理装置２００から提供された触覚データを編集し、編集後の触覚データを触覚データ提示部１２１に提供することで触覚刺激の提示を実現してもよい。
　また、触覚データ処理部１１１には、上記の遅延回路が備えられてもよい。そして、触覚データ処理部１１１は、情報処理装置２００から提供されるパラメータを遅延回路に適用することで遅延量を変更してもよい。
　（音響データ処理部１１２）
　音響データ処理部１１２は、情報処理装置２００から提供される音響データを用いて、音響データ提示部１３１による音の提示に関する処理を行う。例えば、音響データ処理部１１２は、感覚提示デバイス１００個別の設定（例えば、ユーザが独自に行った感覚提示デバイス１００の設定など（例えば、ボリュームの設定や、機能のON／OFFの設定など））に基づいて、情報処理装置２００から提供された音響データを編集し、編集後の音響データを音響データ提示部１３１に提供することで音の提示を実現してもよい。
　また、音響データ処理部１１２には、上記の遅延回路が備えられてもよい。そして、音響データ処理部１１２は、情報処理装置２００から提供されるパラメータを遅延回路に適用することで遅延量を変更してもよい。
　（触覚提示部１２０）
　触覚提示部１２０は、１以上の触覚データ提示部１２１を備え、触覚データ提示部１２１を用いてユーザに対して触覚刺激を提示する機能構成である。
　（触覚データ提示部１２１）
　触覚データ提示部１２１は、触覚データ処理部１１１から提供される触覚データを用いてユーザに対して触覚刺激を提示する機能構成である。例えば、触覚データ提示部１２１は、振動を提示するアクチュエータ（例えば、ＥＲＭ（偏心モータ）、ＬＲＡ（リニア共振アクチュエータ）、またはＶＣＭ（ボイスコイルモータ）など）であってもよいし、力覚を提示する電気素子であってもよいし、温度感覚を提示する温度変化素子（例えば、ペルチェ素子等）であってもよい。換言すると「触覚刺激」には、振動、力覚、または温度感覚などが含まれ得る。なお、触覚データ提示部１２１が提示する触覚刺激はこれらに限定されない。また、各触覚データ提示部１２１（図中では、少なくとも触覚データ提示部１２１ａ～触覚データ提示部１２１ｃ）にチャンネルが割り当てられ、チャンネル毎に互いに異なる触覚刺激の提示が行われてもよい。
　（音提示部１３０）
　音提示部１３０は、少なくとも１以上の音響データ提示部１３１を備え、音響データ提示部１３１を用いてユーザに対して音を提示する機能構成である。
　（音響データ提示部１３１）
　音響データ提示部１３１は、音響データ処理部１１２から提供される音響データを用いてユーザに対して音を提示する機能構成である。例えば、音響データ提示部１３１は、音響データを再生するスピーカと、スピーカに対するアンプ回路などを有し得る。また、複数の音響データ提示部１３１（図中では、少なくとも音響データ提示部１３１ａ～音響データ提示部１３１ｃ）が備えられ、各音響データ提示部１３１の出力が調整されることによって音像の定位が実現されてもよい。その際、音響データ提示部１３１と周囲に備えられるスピーカ（例えば、座席に備えられるスピーカなど）との連携が行われることで音像が定位されてもよい。なお、各音響データ提示部１３１にチャンネルが割り当てられ、チャンネル毎に互いに異なる音の提示が行われてもよい。
　（通信部１４０）
　通信部１４０は、外部装置との通信を行う機能構成である。例えば、集音部１７０（図中では、集音部１７０ａおよび集音部１７０ｂ）がフロントスピーカ２９０から出力された音を検出した場合、通信部１４０は、集音部１７０と通信を行うことで、音が検出された第２のタイミングに関するデータを受信し、当該データを情報処理装置２００へ送信する。また、通信部１４０は、情報処理装置２００によって生成された各種データ（例えば、触覚データ、音響データ、およびその他の制御信号などを含む）を受信する。なお、通信部１４０によって通信されるデータはこれらに限定されない。例えば、通信部１４０は、感覚提示デバイス１００に備えられた遅延回路の遅延量を変更するためのパラメータに関するデータを情報処理装置２００から受信してもよい。また、通信部１４０と外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部１４０は、外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
　（センサ部１５０）
　センサ部１５０は、各種センサを備えており、これらのセンサによって生成されたセンサデータを取得する機能構成である。例えば、センサ部１５０は、位置センサ（例えば、GNSS（Global Navigation Satellite System）受信機や近接センサなどを含む、ユーザの位置特定に使用され得るセンサ）を備えることで、ユーザの位置特定に使用されるセンサデータを取得してもよい。なお、センサ部１５０が備えるセンサの種類は特に限定されない。例えば、センサ部１５０は、姿勢センサ（ジャイロセンサや加速度センサなど）、温度センサ、または圧力センサなどの各種センサを備えていてもよい。
　（記憶部１６０）
　記憶部１６０は、各種データを記憶する機能構成である。例えば、記憶部１６０は、感覚提示デバイス１００の各機能構成によって使用されるプログラムやパラメータ、または情報処理装置２００から提供された各種データ（例えば、触覚データ、音響データ、およびその他の制御信号などを含む）などを記憶する。なお、記憶部１６０が記憶するデータの内容はこれらに限定されない。
　（集音部１７０）
　集音部１７０は、ユーザの耳付近に備えられるマイクなどであり、ユーザが知覚する音（例えば、フロントスピーカ２９０から出力される音など）を検出する機能構成である。なお、集音部１７０はマイクに限定されず、音を検出可能な装置であれば如何なる装置であってもよい。また、集音部１７０は、感覚提示デバイス１００の外部装置として設けられるのではなく、感覚提示デバイス１００内に備えられてもよい。
　以上、感覚提示デバイス１００の機能構成例および集音部１７０について説明した。なお、図９を用いて説明した上記の機能構成はあくまで一例であり、感覚提示デバイス１００の機能構成は係る例に限定されない。例えば、感覚提示デバイス１００は、図９に示す機能構成の全てを必ずしも備えなくてもよい。また、感覚提示デバイス１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　　＜３．装置の処理フロー例＞
　上記では、本開示に係る情報処理システムにおける情報処理装置２００および感覚提示デバイス１００の機能構成例について説明した。続いて、図１０を参照して、音響遅延量に基づく感覚の提示タイミングの調整処理の流れの例について説明する。図１０は、コンテンツの提供中に音響遅延量がほぼ変化しない場合（換言すると、ユーザおよびフロントスピーカ２９０が移動しない場合など）において、音響遅延量に基づいて触覚刺激の提示タイミングが事前に調整される場合の処理の流れを示している。
　まず、ステップＳ１０００では、ユーザの耳付近に備えられた集音部１７０がフロントスピーカ２９０からの音を検出する。ステップＳ１００４では、情報処理装置２００の遅延測定部２１１が音響遅延量を測定する。より具体的には、遅延測定部２１１は、集音部１７０による音の検出タイミングを第２のタイミングとして感覚提示デバイス１００から取得し、第１のタイミングと第２のタイミングとの差異を算出することで音響遅延量を測定する。
　ステップＳ１００８では、触覚データ生成部２２１が、音響遅延量が所定の閾値以上であるか否かを判定する。音響遅延量が所定の閾値以上である場合（ステップＳ１００８／Ｙｅｓ）、ステップＳ１０１２にて、触覚データ生成部２２１は、触覚データによって触覚刺激が提示されるタイミングを調整する。より具体的には、触覚データ生成部２２１は、先頭に音響遅延量に相当する空白区間（触覚刺激が提示されない区間）が挿入された触覚データを生成したり、触覚データを生成するタイミング自体を音響遅延量だけ遅らせたりすることで触覚刺激の提示タイミングを調整（プログラム）することで一連の処理が終了する。音響遅延量が所定の閾値より小さい場合（ステップＳ１００８／Ｎｏ）には、触覚刺激が提示されるタイミングの調整は行われることなく処理が終了する。その後、上記の処理によって調整（プログラム）されたコンテンツがユーザに対して提供される。
　上記の処理によって、感覚提示デバイス１００は、フロントスピーカ２９０からの音がユーザに知覚されるのと略同一のタイミングで、ユーザに感覚（図１０の例では触覚刺激）を提示することができるため、ユーザが違和感を受けることを防止することができる。
　なお、上記の処理はユーザごと（または、音響遅延量が互いに略同一とみなされる複数のユーザが存在する場合には当該ユーザの集団ごと）に行われることを想定している（換言すると感覚の提示は、第１のユーザごと、または第１のユーザの集団ごとに行われることを想定している）。また、コンテンツの提供中に音響遅延量が変化する場合（換言すると、ユーザまたはフロントスピーカ２９０が移動する場合など）においては、図１０の処理フローが随時繰り返されることで（例えば、所定の間隔で繰り返されることで）触覚刺激の提示タイミングが調整され続ける（なおこの場合、コンテンツが終了するまで、触覚データは所定間隔ごとに生成され、提供され続ける）。また上記のとおり、ステップＳ１００４では、音響遅延量が、フロントスピーカ２９０およびユーザの位置関係に基づいて推定されてもよい。
　　＜４．進行通知機能＞
　上記では、音響遅延量に基づく感覚の提示タイミングの調整機能について説明した。ここで、本開示に係る情報処理システムは、当該機能以外の機能を実現することもできる。例えば、本開示に係る情報処理システムは、ステージ上で演技を行う演者など（第２のユーザ）に対して、ユーザ（第１のユーザ）が感覚を提示されるタイミング（第３のタイミング）を通知する機能（以降、「進行通知機能」と呼称する場合もある）を実現することができる。そこで、続いて、進行通知機能について説明する。
　演劇などに本情報処理システムが用いられ、ユーザに対して感覚が提示される場合、演者はユーザに対して感覚が提示されるタイミングを認識することが求められる場合がある。例えば、演者がユーザを切る演技を行うタイミングで、切られる感覚が各ユーザに提示される場合などが挙げられる。切られる感覚が各ユーザに提示されるタイミングが事前にプログラムされている場合などにおいては、演者は、当該タイミングにユーザを切る演技を行うことが求められる。
　そこで、本開示に係る情報処理システムは、演者などに対してユーザが感覚を提示されるタイミングを通知することができる。より具体的には、情報処理装置２００は、ユーザ（第１のユーザ）への感覚の提示に用いられる第１のデータに基づいて、当該通知に用いられる第２データ（以降、「進行通知データ」と呼称する）を生成する。そして、情報処理装置２００は、様々な装置に対して当該進行通知データを提供することで演者などに対して感覚を提示し、第３のタイミングを通知することができる。
　ここで、当該通知は、ユーザが感覚を提示されるタイミング（第３のタイミング）と略同一のタイミングで行われることを想定しているが、これに限定されない。例えば、演者が触覚刺激を知覚してから実際に動作（演技）を行うまでに要する時間を考慮して、当該通知は、第３のタイミングよりも若干早めに行われてもよい。また、当該通知が行われる「第２のユーザ」は演者に限定されず、コンテンツを提供する全てのユーザ（例えば、監督や舞台スタッフなど）を含み得る。
　通常、演者はフロントスピーカ２９０から出力されるＢＧＭや効果音に合わせて演技を行うところ、仮にＢＧＭや効果音が流れない状況でも本開示が適用されることによって、演者は、ユーザに対して感覚が提示されるタイミングを認識することができるため、本開示が適用されることは有用であると言える。また、ＢＧＭや効果音が流れる状況においても、演者がＢＧＭなどを知覚するタイミングと各ユーザがＢＧＭなどを知覚するタイミングは音響遅延により異なるため、本開示が適用されることは変わらず有用であると言える。
　ここで、進行通知データの生成処理には様々な態様が存在する。以降では、図１１～図１５を参照して、ユーザに提示される感覚が触覚刺激である場合における、変換処理（進行通知データの生成処理）の具体例について説明していく。
　演者に対して感覚の提示が可能な装置（例えば、感覚提示デバイス１００と同様の機能を有する装置）が設けられる場合、本開示に係る情報処理システムは、当該装置を用いて演者に感覚を提示することで進行通知を実現してもよい。以降では、演者が感覚提示デバイス１００を装着している場合を一例として説明する（以降、演者が装着している装置を「感覚提示デバイス１００ａ」と呼称し、ユーザ（観客）が装着している装置を「感覚提示デバイス１００ｂ」と呼称する）。なお、この場合、演者に装着される感覚提示デバイス１００ａは演技の阻害をしない形態（例えば、舞台衣装の形態、またはポケットに収まる程度の大きさを有する形態など）を有しているとする。
　そして例えば、情報処理装置２００の触覚データ生成部２２１は、ユーザに装着されている感覚提示デバイス１００ｂの各触覚データ提示部１２１による触覚刺激の提示に使用される触覚データを、１つに統合することで感覚提示デバイス１００ａによって演者に提示される進行通知データを生成する。より具体的には、図１１に示すように、触覚データ生成部２２１は、ユーザ（観客）への触覚刺激の提示に用いられる触覚データを複数のチャンネルにわたって生成した場合、各チャンネルにおいて触覚刺激が提示されるタイミングの関係を維持しつつこれらのチャンネルを１チャンネルに統合することで進行通知データを生成してもよい。演者は、基本的には、ユーザに対して感覚が提示されたタイミング（例えば、触覚刺激の提示の開始タイミングと終了タイミング）さえ認識することができれば適切に演技を行うことができる（例えば、適切に演技の内容を切り替えることができる）。したがって、１チャンネルに統合された進行通知データを用いて触覚データ提示部１２１が触覚刺激を演者に提示することで足りると考えられる。なお、上記はあくまで一例であり、進行通知データのチャンネル数は特に限定されない。
　また、演者が触覚刺激の提示の開始タイミングさえ認識できればよい場合には、図１２に示すように、触覚データ生成部２２１は、ある時間にわたって触覚刺激が継続的に提示される場合に用いられる触覚データの先頭部分の波形（以降「インパルス」と呼称する場合がある）を抽出し進行通知データに反映させてもよい。なお、触覚データ生成部２２１は、触覚データの末尾部分の波形を抽出し進行通知データに反映させることで、触覚刺激の提示の終了タイミングを演者に認識させてもよい。なお、インパルスの抽出手法は特に限定されない。より具体的には、触覚データ生成部２２１は、任意の波形データ解析手法（例えば、所定区間において所定の閾値を超えた部分の波形データを抽出する手法など）を用いてインパルスを抽出することができる。
　なお、上記では、ユーザに提示される感覚が触覚刺激である場合の例について説明したところ、ユーザに提示される感覚が触覚刺激以外である場合についても上記と同様の処理が行われ得る。また、その際、ユーザに提示される感覚の種類や提示箇所（部位）と、演者に提示される感覚の種類や提示箇所（部位）が異なっていてもよい。例えば、ユーザに提示される感覚が音である場合において、演者に提示される感覚が触覚刺激であってもよい。
　また、情報処理装置２００は、感覚提示デバイス１００ａ以外の装置を用いて演者に進行通知を行ってもよい。例えば、演者のみに対して音を提示可能な指向性スピーカが設置されている場合、情報処理装置２００は、当該指向性スピーカから演者に向けて音を出力することによって進行通知を行ってもよい。
　例えば、図１３に示すように、情報処理装置２００の音響データ生成部２２２は、ユーザに装着されている感覚提示デバイス１００ｂの各触覚データ提示部１２１による触覚刺激の提示に使用される触覚データの周波数（例えば、５０［Hz］～２００［Hz］程度）を、可聴領域の周波数（例えば、２００［Hz］～２００００［Hz］程度）に変更することで進行通知データを生成してもよい。その後、情報処理装置２００が当該進行通知データを指向性スピーカに提供することで、指向性スピーカに音を出力させる。
　また例えば、図１４に示すように、音響データ生成部２２２は、触覚刺激の提示に使用される触覚データに対してＡＭ変調処理などを施すことによって、可聴領域（例えば、１０００［Hz］など）にマッピングされた進行通知データを生成してもよい。より具体的には、音響データ生成部２２２は、触覚データを解析することによって触覚データの振幅を示す包絡線を抽出し、伝送に用いられる搬送波を包絡線にマッピングすることで進行通知データを生成してもよい。その後、当該進行通知データが指向性スピーカに提供され、指向性スピーカが進行通知データを復調することによって演者に音を提示する。
　なお、フロントスピーカ２９０からＢＧＭや効果音が提示されている場合には、演者は、指向性スピーカにより提示される音を聞き取りにくい場合がある。そこで、フロントスピーカ２９０からＢＧＭや効果音が提示される場合においては、指向性スピーカにより提示される音の周波数帯域が変更されてもよい。例えば、図１５に示すように、音響データ生成部２２２は、フロントスピーカ２９０から提示されるＢＧＭの周波数特性とは異なる周波数特性の音響データを生成してもよい。これによって、演者は、指向性スピーカにより提示される音と、ＢＧＭとを聞き分けることができる。
　また、例えば、演者のみが視認可能なライトが設置されている場合、情報処理装置２００は、当該ライトを点灯させることによって進行通知を行ってもよい。より具体的には、情報処理装置２００の照明データ生成部２２３は、触覚データを解析することによって、触覚刺激が提示されるタイミングや期間を認識し、そのタイミングや期間にライトを点灯させるための照明データを生成する。なお、照明データ生成部２２３は、上記のように触覚データからインパルスを抽出し、インパルスに対応するタイミングにライトを点灯させるための照明データを生成してもよい。また、照明データ生成部２２３は、触覚刺激の強度をライトによって提示される光の強度に反映させてもよい。例えば、照明データ生成部２２３は、触覚データに対してＰＷＭ（Pulse Width Modulation）変換を施すことで進行通知データを生成してもよい。当該進行通知データがライトに提供されることによって、ライトの光源（例えば、ＬＥＤ光源など）の点灯時間が適切に制御されるため、触覚刺激の強度が光の強度に反映される。また、ライト以外にも、映像を表示可能なディスプレイなどが進行通知に用いられてもよい。この場合、当該ディスプレイには、ユーザに提示される感覚の内容および提示のタイミングなど（例えば、提示までの秒数など）が表示され得る。
　なお、指向性スピーカやライトなどの、感覚提示デバイス１００ａ以外の装置によって進行通知が行われる場合であっても、ユーザに提示される感覚が触覚刺激以外に限定されない。例えば、ユーザに音、映像、匂いまたは味などが提示される場合であっても、情報処理装置２００は、指向性スピーカやライトなどの、感覚提示デバイス１００ａ以外の様々な装置を用いて進行通知を実現することができる。
　また、情報処理装置２００は、演劇などのコンテンツの内容や、進行通知が行われる際の状況などに応じて、演者に対する進行通知の方法を変更してもよい。例えば、演者によって激しい演技が行われている場合、情報処理装置２００は、演者が知覚し易いように触覚刺激の強度をより高くしたり、触覚刺激が提示される期間をより長くしたりすることができる。同様に、情報処理装置２００は、指向性スピーカにより提示される音の大きさをより大きくしたり、提示される期間をより長くしたりしてもよい。また、演者がステップを踏むなど、主に足が演技に使用されるシーンでは、情報処理装置２００は、足以外の部位に対して触覚刺激を提示してもよい。また、進行通知が困難な状況（例えば、ＢＧＭが大音量で提示されている状況や、演者が激しく演技をしている状況など）では、情報処理装置２００は進行通知を行わなくてもよい。
　続いて、図１６を参照して、進行通知処理の流れの例について説明する。図１６には、ユーザに触覚刺激が提示される場合において、演者にも触覚刺激が提示されることで進行通知が実現される場合の処理の流れの例が示されている。
　ステップＳ１１００では、情報処理装置２００の触覚データ生成部２２１は、ユーザ（観客）に対して触覚刺激が提示されるか否かを確認する。例えば、触覚データ生成部２２１は、ユーザが装着している感覚提示デバイス１００ｂに提供される触覚データを解析することで、触覚刺激が提示されるか否かを確認する。ユーザに対して触覚刺激が提示される場合（ステップＳ１１００／Ｙｅｓ）、ステップＳ１１０４にて、触覚データ生成部２２１は、演者に対して進行通知が必要であるか否かを判断する。例えば、触覚データ生成部２２１は、進行通知の要否に関する事前設定に基づいて進行通知が必要であるか否かを判断する。
　演者に対して進行通知が必要である場合（ステップＳ１１０４／Ｙｅｓ）、ステップＳ１１０８にて、触覚データ生成部２２１は、ユーザが装着している感覚提示デバイス１００ｂに提供される触覚データに基づいて進行通知データを生成する。進行通知データの生成方法については上記のとおりである。ステップＳ１１１２では、通信部２３０が、演者が装着している感覚提示デバイス１００ａに対して進行通知データを提供する。
　ステップＳ１１１６では、当該進行通知データを提供された感覚提示デバイス１００ａの触覚データ提示部１２１が演者に対して触覚刺激を提示することで進行通知を行う。なお、ステップＳ１１００にてユーザに対して触覚刺激が提示されない場合（ステップＳ１１００／Ｎｏ）、およびステップＳ１１０４にて演者に対する進行通知が必要でない場合（ステップＳ１１０４／Ｎｏ）には、ステップＳ１１０８～ステップＳ１１１６の処理は行われない。上記の処理が、コンテンツが終了するまで（ステップＳ１１２０／Ｎｏ）継続される。
　　＜５．光による感覚提示通知機能＞
　上記では、進行通知機能について説明した。本開示に係る情報処理システムは、当該機能以外の機能として、各ユーザに対して感覚の提示が行われたことを、光を用いて各ユーザに通知する機能（以降、「光による感覚提示通知機能」と呼称する場合もある）を実現することができる。そこで続いて、光による感覚提示通知機能について説明する。
　例えば、図１７に示すように、ライブや演劇において、ステージ手前のユーザから後方のユーザに対して順に触覚刺激が提示され伝搬していくような表現は、触覚刺激というもののイメージとも直感的に結びつき易く、効果的である。また、触覚刺激だけでなく、音、映像、匂い、または味などの触覚以外の感覚の提示についても同様の効果が得られると考えられる。一方で、各ユーザは、触覚刺激をはじめとする様々な感覚がどのように他のユーザに提示されているのかを認識することができない。
　そこで、本開示に係る情報処理システムは、各ユーザへの感覚の提示と光による演出とを連動させ、各ユーザへの感覚の提示に合わせて光の照射範囲を変化させることで感覚の提示が行われている様子を各ユーザに通知する。より具体的には、ライト３２０またはプロジェクタ３００などの光提示部は、ユーザごと（またはユーザの集団ごと）に光を照射する機能を有する。そして、情報処理装置２００の照明データ生成部２２３は、触覚データ提示部１２１によって触覚刺激がユーザに提示されるタイミング（第３のタイミング）、または音響データ提示部１３１によって音がユーザに提示されるタイミング（第３のタイミング）に、提示が行われるユーザ（第１のユーザ）に対して、ライト３２０またはプロジェクタ３００などの光提示部から光の照射が行われるように照明データ（第３のデータ）を生成する。そして、当該照明データが所定のネットワークを介してライト３２０に提供されることで、ライト３２０はユーザごと（またはユーザの集団ごと）に光を照射することができる。
　ここで、照明データ生成部２２３は、感覚が提示されるユーザに対して照射される光の色を、感覚が提示されないユーザに対して照射される光の色と区別することによって感覚提示通知を実現してもよい。また、感覚提示デバイス１００が発光機能を有している場合には、情報処理装置２００はライト３２０（またはプロジェクタ３００）を用いて感覚提示通知を行うのではなく、感覚提示デバイス１００を発光させることで感覚提示通知を実現してもよい。また、ユーザが発光機能を有する別の装置を保持している場合には、情報処理装置２００は当該装置を発光させてもよい。
　続いて、図１８を参照して、光による感覚提示通知処理の流れの例について説明する。図１８には、触覚刺激を提示されるユーザに対して、ライト３２０から光が照射されることで感覚提示通知が行われる場合の処理の流れの例が示されている。
　ステップＳ１２００では、情報処理装置２００の照明データ生成部２２３が各感覚提示デバイス１００による触覚刺激の提示タイミングを認識する。例えば、照明データ生成部２２３は、触覚データ生成部２２１によって生成された触覚データを解析することによって触覚刺激の提示タイミングを認識する。
　ステップＳ１２０４では、照明データ生成部２２３が、触覚刺激の提示タイミングに基づいて照明データを生成する。より具体的には、照明データ生成部２２３は、各感覚提示デバイス１００が触覚刺激を提示するタイミングに、提示されるユーザの位置（位置座標、または座席の位置）に対してライト３２０から光が照射されるように照明データを生成する。ステップＳ１２０８では、通信部２３０がライト３２０に対して照明データを提供する。
　ステップＳ１２１２では、当該照明データを提供されたライト３２０が、触覚刺激の提示と同時に触覚刺激を提示されるユーザに対して光を照射することで感覚提示通知を行う。上記の処理が、コンテンツが終了するまで（ステップＳ１２１６／Ｎｏ）継続される。
　　＜６．ハードウェア構成例＞
　上記では、光による感覚提示通知機能について説明した。続いて、本開示に係る情報処理システムにおけるハードウェア構成例について説明する。
　（６．１．感覚提示デバイス１００）
　まず、感覚提示デバイス１００のハードウェア構成について説明する。感覚提示デバイス１００は、サイズ調整機能を有さないアウターベストと、サイズ調整機能を有するインナーベストの２枚が重なった構造（アウターベストがインナーベストの上から被せられる構造）を有している。また、ユーザによる着脱のし易さを考慮して、アウターベストおよびインナーベストは、例えば両肩部分などで、部分的に物理的に連結されていてもよい。ここで、図１９にはアウターベストの例が示されており、図２０にはインナーベストの例が示されている。
　図１９には、両肩部分に音響データ提示部１３１が配置されている感覚提示デバイス１００（図２で示したもの）のアウターベストの例が示されている。また、アウターベスト（および図２０のＡで示すインナーベスト）は、前身頃の中央に開閉機構１０（例えば、ファスナー、面ファスナー、またはボタンなど。なお、開閉機構１０はこれらに限定されない）を備えている。これにより、ユーザは頭を感覚提示デバイス１００に通すなどの負荷の高い動きをすることなく、２層構造の感覚提示デバイス１００を容易に効率良く着脱することができる。また、ユーザは、不快感を覚えた場合などにおいて容易かつ迅速に感覚提示デバイス１００ａを脱ぐことができる。また、アウターベストは、前身頃に所定の数のポケット１１（図１９の例では、ポケット１１ａ～ポケット１１ｄ）を備えている。これによって、アウターベストは、例えば後述する手首や足に装着されるパーツを収納することができるため、これらのパーツが使用されない場合において各パーツの管理が容易になる。なお、ユーザが腕を容易に可動させることができる点や通気性に優れる点などが考慮されることで、ベスト型の感覚提示デバイス１００が採用される場合を主として説明しているところ、感覚提示デバイス１００の形状（特に、アウターベストの形状）は、その用途（コンテンツの内容）に合わせて様々なデザインに変更され得る。
　図２０のＡにはインナーベストの前身頃の例が示されており、図２０のＢにはインナーベストの後ろ身頃の例が示されている。図２０のＡおよびＢに示すように、インナーベストの側面部にはインナーベストのサイズを無段階に調整可能な調整機構１２（図２０の例では、面ファスナー）が備えられている。感覚提示デバイス１００が触覚刺激をユーザの体に伝達するためには、感覚提示デバイス１００および触覚データ提示部１２１が、体に対して適切な圧力で押し付けられることが望ましい。しかし、ユーザの体は年齢や性別などによって個体差が大きい。そこで、インナーベストは、調整機構１２を備えることによって、触覚データ提示部１２１と体の間の接触圧力を調整可能にし、ユーザ毎に最適な触覚刺激を提示可能にする。また、インナーベストが使用時にアウターベストに覆われることによって、調整機構１２が表面に露出されない。これにより、ウェアの意匠性が高められると共に、演劇の観劇や映画の鑑賞中に、ユーザ自身がインナーベストの面ファスナーなどを用いたサイズ調整をするために面ファスナーの着け外しすることで大きな音が発生して周囲の観客に不快感を与えることが防止され得る。なお、ユーザによる感覚提示デバイス１００の装着はコンテンツの開始前に完了し、休憩時間などを除いてサイズ調整や着脱は行われないことを想定している。より具体的には、ユーザが座る座席とは別の位置に、感覚提示デバイス１００の装着（脱着）用のスペースが設けられて、係員がユーザによる感覚提示デバイス１００の脱着を補助することを想定している（もちろん、これに限定されない）。
　また、インナーベストは、触覚データ提示部１２１を固定可能な固定機構１３（図２０の例では、面ファスナー）を備えている。感覚提示デバイス１００がユーザに対して触覚刺激を提示する場合、ユーザ毎の個体差（体の大きさなど）に影響されることなく、同様の位置に触覚刺激が提示されることが望ましい。すなわち、触覚データ提示部１２１の配置はユーザ毎の個体差に応じて調整されることが望ましい。また、劇や映画などのコンテンツの内容や演出に応じて、触覚刺激が提示されるべき位置（部位）が変わる。例えば、触覚刺激が提示されるべき位置は、劇Ａでは体の前面４か所、劇Ｂでは体の前面６か所、映画Ａでは体の前面６か所に加えて背面２か所などのようにコンテンツによって変わる。そこで、インナーベストはほぼ全面に固定機構１３を備えることで、所望の位置に触覚データ提示部１２１が固定されることを可能にする。
　ここで、図２１を参照して、触覚データ提示部１２１の固定態様の具体例について説明する。コンテンツの開始前のユーザによる装着時にユーザ自身によって触覚データ提示部１２１の固定位置が変更されることは、基本的に想定していない（なお、これに限定されない）。そのため、図２１のＡに示すように、インナーベストは２枚構造を有しており、固定機構１３は、ユーザが触れることができない２枚構造の内側に備えられている。触覚データ提示部１２１は固定機構１３（面ファスナーメスなど）と、別パーツである固定機構１４（面ファスナーオスなど）によって挟まれることによってインナーベストに固定され得る。図２１のＡに示すように、固定機構１３は、２枚構造のうちの“インナーベストの外側１５”（アウターベスト側）の内側の面に備えられることを想定している。換言すると、２枚構造のうちの“インナーベストの内側１６”（ユーザの体側）には、固定機構１３が備えられないことを想定している。これによって、サイズ調整時に調整機構１２の締め付け圧によって生じる“インナーベストの外側１５”の張力によって、触覚データ提示部１２１がユーザの体に的確に押し付けられることになる。
　また、“インナーベストの内側１６”が面として存在することにより、ユーザが感覚提示デバイス１００を着脱する際に、突出した触覚データ提示部１２１が着脱の妨げになることが防止される。前述したように、感覚提示デバイス１００はインナーベストとアウターベストの２層構造を有することが望ましいが、着脱の容易さなどに鑑みて、インナーベスト単体が使用されてもよい。その場合にも、インナーベストが上記で説明したような構造を有することで、触覚データ提示部１２１を表面に露出させないようにできるため、意匠性が確保される。
　また、前述したように、ユーザの体は年齢や性別などによって個体差が大きい。そのため、例えば、コンテンツの提供前に男性用のウェア（アウターベストやインナーベスト）と女性用のウェア（アウターベストやインナーベスト）の２種類を用意しておき、女性用のインナーベストについては、体に合わせて調整機構１２がより絞り込まれる前提で、触覚データ提示部１２１の固定位置を男性用のものに比べて相対的に内側にしておく、という運用が考えられる。同様に、男女の身長差を考慮して、各触覚データ提示部１２１の上下の相対距離を男性用のものに比べて相対的に近づけておく、という運用も考えられる。また、女性用については、胸部を避けて触覚データ提示部１２１を配置する、という運用も考えられる。また、男女差とは無関係に、体の大きさに応じてS/M/Lの３種類のサイズを（同一のウェアで）用意し、前述したようにそれぞれに触覚データ提示部１２１の固定位置を異なるものとする、という運用も考えらえる。あるいは、前述のように、コンテンツの内容に応じて、コンテンツの開始前に触覚データ提示部１２１の位置および数量を変更しておき、その位置および数量の設定に基づいて各触覚データ提示部１２１に入力する触覚データの設計および生成を行う、といった運用も考えられる。
　さらに、感覚提示デバイス１００は、ベスト部分によっては触覚刺激が提示されない部位に対しても他のパーツを用いることによって触覚刺激を提示することができてもよい。例えば、図２２のＡに示すように、感覚提示デバイス１００はコネクタを備えており、当該コネクタに接続された配線１９０（図２２のＡでは、配線１９０ａ～配線１９０ｆ）によって追加の触覚データ提示部１２１（図２２のＡでは、触覚データ提示部１２１ｋ～触覚データ提示部１２１ｐ）と電気的に接続され得る。なお、図中の触覚データ提示部１２１ｌと触覚データ提示部１２１ｍのように、追加された触覚データ提示部１２１は、コネクタを備えており、当該コネクタに接続された配線１９０によってさらに別の追加された触覚データ提示部１２１と電気的に接続され得る。なお、長さを調節可能なケーブル（例えば、カールケーブルや巻取り式のケーブルなど）が配線１９０として使用されることによって、必要以上に長い配線１９０によってユーザの動きが阻害されることが防止され得る。また、配線１９０によって触覚データ提示部１２１が追加されない場合、追加の触覚データ提示部１２１に使用可能なチャンネルが他の部分（例えば、ベスト部分）への触覚刺激の提示に使用されてもよい。これによって、より多様な触覚刺激を当該部分に提示することが可能になる。なお、追加の触覚データ提示部１２１は無線によって接続されてもよい。
　そして、追加の触覚データ提示部１２１は、所定の固定機構（例えば、面ファスナーなど）によって体の部位に一定の圧力で固定される。この構造によって、例えば図２２のＡに示すように、感覚提示デバイス１００は、ベスト部分以外の手首、膝、および足の甲などに触覚刺激を提示することができる。なお、追加の触覚データ提示部１２１が固定される位置は特に限定されず、コンテンツの内容などに応じて柔軟に変更され得る。
　ここで、図２２のＢに示すように、追加の各触覚データ提示部１２１には固定位置を示すラベル１７（図２２のＢでは、ラベル１７ａ～ラベル１７ｆ。固定位置を示すイラストや文字などが表示される）が付されることを想定している。これによって、ユーザが追加の各触覚データ提示部１２１を間違った位置に固定することが防がれる。
　続いて、感覚提示デバイス１００と共に使用される各機器について説明する。まず図２３を参照して、ユーザが着席してコンテンツの提供を受ける場合に使用される座席の周辺機器について説明する。図２３には、ユーザが感覚提示デバイス１００（および追加の触覚データ提示部１２１ｋ～触覚データ提示部１２１ｐ）を装着した状態で座席に座っている様子を示している。そして、各座席にはユーザによる所定の操作に使用される操作パネル１８０が設置されることを想定している。
　ここで、図２４を参照して操作パネル１８０の具体例について説明する。図２４のＡに示された操作パネル１８０ａにはスイッチ１８１が備えられており、ユーザは、当該スイッチ１８１を操作することによって触覚刺激などをはじめとする各種感覚の提示のON／OFFを切り替えることができる。また、操作パネル１８０ａにはコネクタ１８２（メス）が備えられており、ユーザは、当該コネクタ１８２に対して感覚提示デバイス１００に備えられたコネクタ（オス）を差し込むことによって感覚提示デバイス１００を動作可能な状態にすることができる。また、図２４のＢに示された操作パネル１８０ｂには、その他にもボリューム調節機構１８３が備えられており、ユーザは、当該ボリューム調節機構１８３を操作することによって感覚提示デバイス１００によって提示される触覚刺激または音のボリュームを所望の大きさに調節することができる。
　なお、感覚提示デバイス１００には複数の種類（S／M／Lなどのサイズ、大人用／子供用、男性用／女性用、色、表記番号）が設けられており、感覚提示デバイス１００がコネクタ１８２に接続されることによって、感覚提示デバイス１００内に組み込まれた種類検出用の抵抗値、あるいはDIPスイッチのようなON／OFF検出の仕組みによって、感覚提示デバイス１００の種類が情報処理システム（特に情報処理装置２００）に識別され得る。識別された種類に応じて、情報処理システム（特に情報処理装置２００）は、ウェアに流す信号（ボリューム等）を変化させてもよい。
　（６．２．情報処理装置２００）
　続いて、図２５を参照して、情報処理装置２００のハードウェア構成について説明する。
　図２５に示すように、情報処理装置２００は、ＣＰＵ（Central Processing Unit）９０１と、ＲＯＭ（Read Only
Memory）９０２と、ＲＡＭ（Random Access Memory）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２とを備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、制御部２１０および生成部２２０の各機能が実現される。
　ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置２００を使用するユーザは、該入力装置９０８を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置９０８により、コントローラ２６０の機能が実現される。
　出力装置９０９は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置およびランプなどの表示装置を含む。当該出力装置９０９により表示部２４０の機能が実現される。
　ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Hard Disk Drive）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。当該ストレージ装置９１０によって記憶部２５０の機能が実現される。
　ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置２００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。
　通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１２によって通信部２３０の機能が実現される。
　　＜７．備考＞
　上記では、本開示に係る情報処理システムにおけるハードウェア構成例について説明した。続いて、本開示に係る情報処理システムにおける運用面などを備考として説明する。
　（７．１．感覚提示デバイス１００の動作確認について）
　本開示に係る情報処理システムが使用される場合、コンテンツの開始前に、感覚提示デバイス１００を操作パネル１８０のコネクタ１８２に接続した状態で動作確認作業が行われ得る。
　動作確認作業においては、第１ステップとして通電状態などの確認のために、感覚提示デバイス１００の各触覚データ提示部１２１（アクチュエータ）から可聴音を順次発生させて、確認者が耳で動作確認を行う。その際、触覚データ提示部１２１ごとに可聴音が変更されてもよい（例えば、各感覚提示デバイス１００の触覚データ生成部２２１ごとに「１」、「２」、「３」などの識別情報が割り振られ、触覚データ提示部１２１にそれぞれの識別情報を可聴音として出力させるなど）。第２ステップとして、触覚データ提示部１２１の故障状態の確認のために、各触覚データ提示部１２１に１００［Hz］のSin波のような可聴性の低い単純な波形を順次入力する。例えば、第２ステップにて、確認者に異音が聞こえる場合、触覚データ提示部１２１の破損などが生じていることが予想される。
　第１ステップおよび第２ステップの作業は、各感覚提示デバイス１００から発せられる音が混ざらないように、感覚提示デバイス１００を１台ずつ動作させて行われる。例えば、確認者が操作パネル１８０のスイッチ１８１を操作して各感覚提示デバイス１００のON／OFFを切り替えながら第１ステップおよび第２ステップの作業を行っていく。
　なお、確認者が各座席を移動することなく上記の動作確認作業を行えるように、各感覚提示デバイス１００からの可聴音の発生などが、感覚提示デバイス１００ごとに少しずつずらされながら行われてもよい。また、感覚提示デバイス１００ごとに「１」、「２」、「３」などの識別情報が割り振られ、さらに各感覚提示デバイス１００の触覚データ生成部２２１ごとに「１」、「２」、「３」などの識別情報が割り振られることによって、触覚データ提示部１２１に「１－１」、「１－２」、「１－３」などのように、それぞれの感覚提示デバイス１００および触覚データ提示部１２１の識別情報の組合せを可聴音として出力させるなどの対応が考えられる。これによって、確認者は、全ての感覚提示デバイス１００から発せられる可聴音を聞き取れる位置から動くことなく動作確認作業を行うことができる。また、可聴音の聞き取り作業が専用装置によって行われてもよい。また、各触覚データ提示部１２１に加速度センサが備えられており、各触覚データ提示部１２１が振動した際の加速度データの解析などによって動作確認が行われてもよい。
　（７．２．操作者の対応について）
　上記で説明したコントローラ２６０を操作する操作者は、ステージおよび客席が見渡せるよう、客席後方（または中央）のコントロールブースに位置しており、予め決められた進行に応じて、ステージ上の演者の動きのタイミングに合わせ、コントローラ２６０に備えられるタッチパネルや物理スイッチなどインタフェースを操作する。
　コントローラ２６０に対して所定の操作が行われることで、音響、照明、映像、触覚刺激などの演出効果に関わる装置が一括してリアルタイムに制御され得る。例えば、操作者は、コントローラ２６０に備えられるスライドバーの操作によって、音響、照明、映像、触覚刺激などの演出効果に関わる装置によって出力される演出効果の強度を、一括してリアルタイムに制御することができる。例えば、操作者がスライドバーを下げると、音響ボリュームが下がるとともに、触覚データ提示部１２１によって提示される触覚刺激の強度が低くなったり、照明が暗くなったりする。また、例えば、操作者が、所定のボタンを押下するたびに、コンテンツにおけるイベントが切り替わり、切り替わった後のイベントに対応付けられたプログラムに従って、音響、照明、映像、触覚刺激などの演出効果に関わる装置が一括してリアルタイムに制御され得る。なお、このときに各ボタンにそれぞれ異なるイベントが割り当てられていてもよい。
　また、ユーザだけでなく操作者も、音響提示用のヘッドホンおよび触覚提示用の感覚提示デバイス１００を装着することによって、ユーザが体験している演出効果のフィードバックを受けることができる。なお、上記のとおり、ユーザには音声遅延量が考慮された上で（音声遅延量だけ遅れたタイミングで）感覚の提示が行われるところ、操作者へのフィードバックにおいては、音声遅延量が考慮されることなく感覚の提示が行われてもよい（ヘッドホンによる音の提示と、感覚提示デバイス１００による感覚の提示が同時に行われてもよい）。また、コントロールブースには、操作者とは別に進行管理を行うタイムキーパーが配置されることで、操作者とタイムキーパーが互いに協調して作業をしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成する生成部を備える、
　情報処理装置。
（２）
　前記感覚の提示は、前記差異に基づいて決まる第３のタイミングに行われる、
　前記（１）に記載の情報処理装置。
（３）
　前記第３のタイミングは、前記第２のタイミングと略同一である、
　前記（２）に記載の情報処理装置。
（４）
　前記生成部は、前記第１のデータに基づいて、第２のユーザに対する前記第３のタイミングの通知に用いられる第２のデータを生成する、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記第２のデータは、前記第２のユーザへの感覚の提示に用いられるものである、
　前記（４）に記載の情報処理装置。
（６）
　前記通知は、前記第３のタイミングと略同一のタイミングで行われる、
　前記（４）または（５）に記載の情報処理装置。
（７）
　前記第２のユーザは、前記第１のユーザに対して前記感覚の提示が行われるコンテンツを提供するユーザである、
　前記（４）から（６）のいずれか１項に記載の情報処理装置。
（８）
　前記第１のユーザは複数人存在し、
　前記感覚の提示は、前記第１のユーザごと、または前記第１のユーザの集団ごとに行われる、
　前記（２）から（７）のいずれか１項に記載の情報処理装置。
（９）
　前記感覚を提示される前記第１のユーザは、前記第３のタイミングに光提示部から光が照射され、
　前記生成部は、前記光の照射に用いられる第３のデータを生成する、
　前記（８）に記載の情報処理装置。
（１０）
　前記第２のタイミングは、前記第１のユーザに装着された音検出部によって前記音が検出されたタイミングである、
　前記（１）から（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記音検出部は、前記第１のユーザの耳付近に装着されたものである、
　前記（１０）に記載の情報処理装置。
（１２）
　前記差異は、前記音響提示部および前記第１のユーザの位置関係に基づいて推定されたものである、
　前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記感覚は、触覚または聴覚のうちの少なくともいずれか一方を含む、
　前記（１）から（１２）のいずれか１項に記載の情報処理装置。
（１４）
　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成することを有する、
　コンピュータにより実行される情報処理方法。
（１５）
　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成すること、
　をコンピュータに実現させるためのプログラム。
　１００　　感覚提示デバイス
　１１０　　制御部
　１１１　　触覚データ処理部
　１１２　　音響データ処理部
　１２０　　触覚提示部
　１２１　　触覚データ提示部
　１３０　　音提示部
　１３１　　音響データ提示部
　１４０　　通信部
　１５０　　センサ部
　１６０　　記憶部
　１７０　　集音部
　２００　　情報処理装置
　２１０　　制御部
　２１１　　遅延測定部
　２２０　　生成部
　２２１　　触覚データ生成部
　２２２　　音響データ生成部
　２２３　　照明データ生成部
　２３０　　通信部
　２４０　　表示部
　２５０　　記憶部
　２６０　　コントローラ
　２７０　　オーディオＩＦ
　２８０　　アンプ
　２９０　　フロントスピーカ
　３００　　プロジェクタ
　３１０　　スクリーン
　３２０　　ライト
　３３０　　煙発生器
　３４０　　風発生器

Claims (15)

  1. 　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成する生成部を備える、
    　情報処理装置。
  2. 　前記感覚の提示は、前記差異に基づいて決まる第３のタイミングに行われる、
    　請求項１に記載の情報処理装置。
  3. 　前記第３のタイミングは、前記第２のタイミングと略同一である、
    　請求項２に記載の情報処理装置。
  4. 　前記生成部は、前記第１のデータに基づいて、第２のユーザに対する前記第３のタイミングの通知に用いられる第２のデータを生成する、
    　請求項２に記載の情報処理装置。
  5. 　前記第２のデータは、前記第２のユーザへの感覚の提示に用いられるものである、
    　請求項４に記載の情報処理装置。
  6. 　前記通知は、前記第３のタイミングと略同一のタイミングで行われる、
    　請求項４に記載の情報処理装置。
  7. 　前記第２のユーザは、前記第１のユーザに対して前記感覚の提示が行われるコンテンツを提供するユーザである、
    　請求項４に記載の情報処理装置。
  8. 　前記第１のユーザは複数人存在し、
    　前記感覚の提示は、前記第１のユーザごと、または前記第１のユーザの集団ごとに行われる、
    　請求項２に記載の情報処理装置。
  9. 　前記感覚を提示される前記第１のユーザは、前記第３のタイミングに光提示部から光が照射され、
    　前記生成部は、前記光の照射に用いられる第３のデータを生成する、
    　請求項８に記載の情報処理装置。
  10. 　前記第２のタイミングは、前記第１のユーザに装着された音検出部によって前記音が検出されたタイミングである、
    　請求項１に記載の情報処理装置。
  11. 　前記音検出部は、前記第１のユーザの耳付近に装着されたものである、
    　請求項１０に記載の情報処理装置。
  12. 　前記差異は、前記音響提示部および前記第１のユーザの位置関係に基づいて推定されたものである、
    　請求項１に記載の情報処理装置。
  13. 　前記感覚は、触覚または聴覚のうちの少なくともいずれか一方を含む、
    　請求項１に記載の情報処理装置。
  14. 　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成することを有する、
    　コンピュータにより実行される情報処理方法。
  15. 　音響提示部から音が出力される第１のタイミングと、第１のユーザが前記音を知覚する第２のタイミングとの差異に基づいて、前記第１のユーザに装着された感覚提示部による前記第１のユーザへの感覚の提示に用いられる第１のデータを生成すること、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2018/025275 2017-07-10 2018-07-03 情報処理装置、情報処理方法、およびプログラム WO2019013055A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880045075.8A CN110892734B (zh) 2017-07-10 2018-07-03 信息处理装置、信息处理方法和存储介质
JP2019529075A JP7140120B2 (ja) 2017-07-10 2018-07-03 情報処理装置、情報処理方法、およびプログラム
PCT/JP2018/025275 WO2019013055A1 (ja) 2017-07-10 2018-07-03 情報処理装置、情報処理方法、およびプログラム
EP18831773.9A EP3654665A4 (en) 2017-07-10 2018-07-03 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US16/628,082 US11228855B2 (en) 2017-07-10 2018-07-03 Information processing device and information processing method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762530455P 2017-07-10 2017-07-10
US62/530,455 2017-07-10
US201762534879P 2017-07-20 2017-07-20
US62/534,879 2017-07-20
PCT/JP2018/025275 WO2019013055A1 (ja) 2017-07-10 2018-07-03 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2019013055A1 true WO2019013055A1 (ja) 2019-01-17

Family

ID=65001669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025275 WO2019013055A1 (ja) 2017-07-10 2018-07-03 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11228855B2 (ja)
EP (1) EP3654665A4 (ja)
JP (1) JP7140120B2 (ja)
CN (1) CN110892734B (ja)
WO (1) WO2019013055A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023032308A1 (ja) * 2021-08-30 2023-03-09 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887631B2 (en) 2019-11-12 2024-01-30 Sony Group Corporation Information processing device and information processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5559499A (en) * 1978-10-30 1980-05-02 Bodysonic Kk Sound system in theater or like
JPS57148980U (ja) * 1981-03-11 1982-09-18
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553148A (en) * 1994-06-20 1996-09-03 Werle; Ben Apparatus and method for producing vibratory sensations to accompany audible sounds in a properly phased relationship
JP2004233463A (ja) 2003-01-28 2004-08-19 Nec Viewtechnology Ltd ファン騒音低減装置及びファン騒音低減方法
JP2006222826A (ja) 2005-02-14 2006-08-24 Fujitsu Ltd 通話機能付き携帯情報端末
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
CN102016759A (zh) 2008-05-09 2011-04-13 皇家飞利浦电子股份有限公司 用于传送情绪的方法和系统
JP5419100B2 (ja) * 2008-06-13 2014-02-19 学校法人早稲田大学 感覚呈示システム及び感覚呈示装置
US9402133B2 (en) * 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
JP5732937B2 (ja) 2010-09-08 2015-06-10 ヤマハ株式会社 サウンドマスキング装置
EP2825934B1 (en) 2012-03-15 2021-06-30 Nokia Technologies Oy A tactile apparatus link
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
DE102013214201A1 (de) 2013-07-19 2015-01-22 Volkswagen Aktiengesellschaft Verfahren zur Steuerung einer Kraftfahrzeug-Klimaanlage
JP2016534645A (ja) 2013-08-28 2016-11-04 サブパック・インコーポレイテッドＳｕｂｐａｃ， Ｉｎｃ． 多段触覚音響装置
US9613506B2 (en) 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
KR101641418B1 (ko) 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
JP2017182496A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置、制御方法およびプログラム
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
CN109416584B (zh) 2016-07-07 2022-08-02 索尼公司 信息处理装置、信息处理方法和程序
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
JPWO2018061528A1 (ja) 2016-09-30 2019-07-25 ソニー株式会社 コンテンツ提供システム、制御装置及び受信装置
CN106774891A (zh) 2016-12-15 2017-05-31 北京小鸟看看科技有限公司 虚拟现实场景的音效产生方法、设备及虚拟现实设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5559499A (en) * 1978-10-30 1980-05-02 Bodysonic Kk Sound system in theater or like
JPS57148980U (ja) * 1981-03-11 1982-09-18
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3654665A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023032308A1 (ja) * 2021-08-30 2023-03-09 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理システム

Also Published As

Publication number Publication date
CN110892734A (zh) 2020-03-17
EP3654665A1 (en) 2020-05-20
JPWO2019013055A1 (ja) 2020-05-07
US11228855B2 (en) 2022-01-18
US20210152962A1 (en) 2021-05-20
JP7140120B2 (ja) 2022-09-21
CN110892734B (zh) 2021-11-05
EP3654665A4 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
US7732694B2 (en) Portable music player with synchronized transmissive visual overlays
CN102647944B (zh) 耳鸣治疗系统和方法
CA2738746C (en) Haptic chair sound enhancing system with audiovisual display
JP5323413B2 (ja) 付加データ生成システム
JP6835070B2 (ja) システム、端末装置、方法及び記録媒体
US9420392B2 (en) Method for operating a virtual reality system and virtual reality system
JP7140120B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017199017A (ja) 模擬地震被害の仮想現実体験システム、模擬地震被害の仮想現実体験方法
JP7040527B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019150546A (ja) 生体情報処理装置、生体情報処理方法、コンピュータプログラム及びマインドフルネス支援装置
JP6218197B1 (ja) 模擬地震被害の実現象データ生成システム、模擬地震被害の実現象データ生成方法
WO2021145452A1 (ja) 情報処理装置及び情報処理端末
WO2020235307A1 (ja) コンテンツ提供システム、出力装置、及び情報処理方法
TW201904633A (zh) 休閒裝置
US20220353457A1 (en) Information processing apparatus, information processing method, and program
JP2004024898A (ja) 在席装置
WO2021145454A1 (ja) 情報処理装置、情報処理端末及びプログラム
WO2021145023A1 (ja) 情報処理装置及び情報処理端末
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
Lamontagne et al. The Ilinx Garment: Whole-body tactile experience in a multisensorial art installation
JP2004023180A (ja) 音声伝送装置、音声伝送方法及びプログラム
WO2021145025A1 (ja) 情報処理装置、情報処理端末及びプログラム
WO2022102307A1 (ja) 信号処理装置、信号処理方法、信号処理システム
JP2008515584A (ja) セックス・プレー中にフィードバックを与えるためのコンピュータ実装方法およびシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831773

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529075

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831773

Country of ref document: EP

Effective date: 20200210